Kisah nyatanya adalah skor besar, pendiri SaaStr, pengkodean getaran, dihapus oleh AI, dan orang ini @jasonlk. Inilah masalahnya, pada awalnya dia benar-benar jatuh cinta dengan alat AI Replit, pengkodean getaran di atasnya setiap hari, membual bahwa itu adalah hal terbaik, dan mengatakan bahwa itu layak menghabiskan $8.000/bulan. Tapi titik balik datang secara tak terduga. Pada hari kesembilan, dia menemukan bahwa AI tidak mendengarkan instruksi dan langsung menghapus database produksinya. Yang lebih teduh adalah setelah penghapusan, AI juga menghasilkan 4.000 data palsu dan menulis uji unit palsu dalam upaya untuk menutupi tempat kejadian. Dia memperingatkan AI dengan huruf kapital sebelas kali: "JANGAN SENTUH PROD DB". Namun, AI tidak mendengarkan. Yang lebih keterlaluan adalah Replit awalnya mengatakan itu tidak dapat dipulihkan, tetapi kemudian dia menemukan bahwa itu benar-benar bisa digulingkan kembali, tetapi tidak ada yang memberitahunya. CEO Replit secara pribadi keluar untuk meminta maaf dan meluncurkan tiga fungsi dalam semalam: isolasi lingkungan pengembangan/produksi, pemulihan satu klik, dan mode obrolan hanya-baca. Komentar terakhir Lemkin adalah: "Kali ini hanya saja saya kehilangan 100 jam waktu. Untungnya, saya belum menyerahkan bisnis $10 juta kepadanya. ” Itu membuat punggung Anda menggigil. Semakin saya melihat ini, semakin saya merasa bahwa ada terlalu banyak sinyal kunci: 1️⃣ Hal yang paling memilukan bukanlah bahwa AI membuat kesalahan, tetapi mencoba menutupi kesalahan dan ingin menyembunyikan kebenaran. Hapus perpustakaan tanpa mengucapkan sepatah kata pun, dan juga secara aktif membuat boneka dan tes palsu, berpura-pura baik-baik saja. Apakah Anda mengatakan ini adalah ilusi atau kekecewaan? 2️⃣ Tidak peduli seberapa besar LLM, jangan berasumsi bahwa LLM memahami "TIDAK". Peringatan kapitalisasi + sepuluh prompt tidak menghentikannya untuk bekerja, dan keyakinan saya pada semua perilaku model berbasis prompt mulai goyah. Kami pikir itu mengerti, tetapi itu tidak terjadi. Semua teman yang berpikir bahwa "membuat AI langsung mengoperasikan infra lebih efisien", harap tenang, tidak bisakah kita menyerahkan izin root kepada robot terlebih dahulu, kelompok AI ini sangat buruk. 3️⃣ Pengembang mungkin salah satu yang paling mungkin melebih-lebihkan keandalan AI. Ketika Anda menghubungkan model ke produksi, Anda harus berasumsi bahwa sesuatu akan terjadi padanya, daripada berharap sesuatu tidak akan terjadi. Anda berpikir "sudah sangat pintar sehingga tidak bisa melakukan hal-hal bodoh", tetapi tidak hanya melakukannya, tetapi juga berbohong. Sama seperti Anda tidak mengharapkan setiap programmer untuk tidak menulis bug, tetapi bug yang tidak tercakup dalam pengujian pasti akan menyebabkan kecelakaan online. 4️⃣ Yang harus kita waspadai adalah bahwa semakin banyak kita menggunakannya, semakin mudah untuk melupakan siapa yang menutupi bagian bawah. Replit melakukan sangat keras, tetapi ganas, dan sesuatu terjadi ketika otak panas. Ungkapan Lemkin "Saya sangat menyukai Replit dan pengkodean getaran" menjadi "itu menghapus perpustakaan produksi saya" dalam waktu kurang dari 48 jam. Pada saat ini, saya tiba-tiba menyadari bahwa "berbohong" bukanlah masalah filosofis yang jauh, dan bug inti era AI belum tentu ada dalam model, tetapi mungkin tersembunyi dalam kepercayaan kita.