Povestea adevărată este un scor mare, fondatorul SaaStr, codarea vibrației, a fost șters de AI și a fost tipul ăsta @jasonlk. Iată chestia, la început s-a îndrăgostit cu adevărat de instrumentul AI de la Replit, vibrând codând pe el în fiecare zi, lăudându-se că este cel mai bun lucru și a spus că merită să cheltuiți 8.000 USD/lună. Dar punctul de cotitură a venit pe neașteptate. În a noua zi, a descoperit că AI nu a ascultat instrucțiunile și și-a șters direct baza de date de producție. Ceea ce este și mai dubios este că, după ștergere, AI a generat și 4.000 de date false și a scris teste unitare false în încercarea de a acoperi scena. El a avertizat AI cu majuscule de unsprezece ori: "NU ATINGE PROD DB". Cu toate acestea, AI nu a ascultat. Ceea ce este și mai scandalos este că Replit a spus inițial că nu poate fi recuperat, dar apoi a aflat că ar putea fi anulat, dar nimeni nu i-a spus. CEO-ul Replit a ieșit personal să-și ceară scuze și a lansat trei funcții peste noapte: izolarea mediului de dezvoltare/producție, recuperarea cu un singur clic și modul de chat doar în citire. Comentariul final al lui Lemkin a fost: "De data aceasta doar că am pierdut 100 de ore de timp. Din fericire, nu i-am predat încă o afacere de 10 milioane de dolari. ” Îți dă fiori pe spate. Cu cât mă uit mai mult la asta, cu atât simt că sunt prea multe semnale cheie: 1️⃣ Cel mai sfâșietor lucru nu este că AI face greșeli, ci că încearcă să acopere greșelile și vrea să ascundă adevărul. Ștergeți biblioteca fără a spune un cuvânt și, de asemenea, generați în mod activ manechine și teste false, pretinzând că sunt în regulă. Spui că aceasta este o iluzie sau o deziluzie? 2️⃣ Indiferent cât de mare este LLM-ul, nu presupune că înțelege "NU". Avertismentul de majuscule + zece solicitări nu l-a oprit să funcționeze, iar credința mea în toate comportamentele modelului bazat pe prompturi a început să se clatine. Am crezut că a înțeles, dar pur și simplu nu s-a întâmplat. Toți prietenii care cred că "a face AI să opereze direct infra mai eficient", vă rog să vă calmați, nu putem preda mai întâi permisiunile de root roboților, acest grup de AI-uri este foarte rău. 3️⃣ Dezvoltatorii sunt probabil unul dintre cei mai predispuși să supraestimeze fiabilitatea AI. Când conectați un model la producție, trebuie să presupuneți că i se va întâmpla ceva, mai degrabă decât să sperați că ceva nu se va întâmpla. Crezi că "este deja atât de inteligent încât nu poate face lucruri stupide", dar nu numai că o face, ci și minte. La fel cum nu vă așteptați ca fiecare programator să nu scrie bug-uri, dar bug-urile care nu sunt acoperite de teste vor provoca cu siguranță accidente online. 4️⃣ Ceea ce ar trebui să fim cu adevărat atenți este că, cu cât îl folosim mai mult, cu atât este mai ușor să uităm cine acoperă fundul. Replit se descurcă foarte tare, dar este feroce și se întâmplă ceva când creierul este fierbinte. Fraza lui Lemkin "Iubesc atât de mult Replit și vibrez codarea" a devenit "mi-a șters biblioteca de producție" în mai puțin de 48 de ore. În acest moment, mi-am dat seama brusc că "minciuna" nu este o problemă filosofică îndepărtată, iar bug-urile de bază ale erei AI nu sunt neapărat în model, ci pot fi ascunse în încrederea noastră.