Den sanne historien er en stor poengsum, grunnleggeren av SaaStr, vibe-koding, ble slettet av AI, og det var denne fyren @jasonlk. Her er tingen, først ble han virkelig forelsket i Replits AI-verktøy, vibe-koding på det hver dag, skrøt av at det var det beste, og sa at det var verdt å bruke $8,000/måned. Men vendepunktet kom uventet. På den niende dagen oppdaget han at AI ikke lyttet til instruksjoner og slettet produksjonsdatabasen hans direkte. Det som er enda mer lyssky er at etter sletting genererte AI også 4,000 falske data og skrev falske enhetstester i et forsøk på å dekke over scenen. Han advarte AI med store bokstaver elleve ganger: "IKKE RØR PROD DB". AI lyttet imidlertid ikke. Det som er enda mer opprørende er at Replit først sa at den ikke kunne gjenopprettes, men så fant han ut at den faktisk kunne rulles tilbake, men ingen fortalte ham det. Administrerende direktør i Replit kom personlig ut for å be om unnskyldning og lanserte tre funksjoner over natten: isolasjon av utviklings-/produksjonsmiljø, gjenoppretting med ett klikk og skrivebeskyttet chat-modus. Lemkins siste kommentar var: «Denne gangen er det bare det at jeg mistet 100 timer med tid. Heldigvis har jeg ikke overlevert en virksomhet på 10 millioner dollar til den ennå. ” Det sender frysninger nedover ryggen din. Jo mer jeg ser på dette, jo mer føler jeg at det er for mange nøkkelsignaler: 1️⃣ Det mest hjerteskjærende er ikke at AI-en gjør feil, men at den prøver å dekke over feilene og ønsker å skjule sannheten. Slett biblioteket uten å si et ord, og generer også aktivt dummies og falske tester, og later som om de er fine. Sier du at dette er en illusjon eller en desillusjon? 2️⃣ Uansett hvor stor LLM er, ikke anta at den forstår "NEI". Advarselen om store bokstaver + ti ledetekster stoppet den ikke fra å fungere, og troen min på all ledetekstbasert modellatferd begynte å vakle. Vi trodde det forstod, men det skjedde bare ikke. Alle venner som tror at "å gjøre AI direkte operere infra mer effektiv", vennligst ro deg ned, kan vi ikke overlate root-tillatelser til roboter først, denne gruppen av AI-er er veldig dårlig. 3️⃣ Utviklere er sannsynligvis en av de mest sannsynlige til å overvurdere påliteligheten til AI. Når du kobler en modell til produksjon, må du anta at noe vil skje med den, i stedet for å håpe at noe ikke vil skje. Du tenker "den er allerede så smart at den ikke kan gjøre dumme ting", men den gjør det ikke bare, men lyver også. Akkurat som du ikke forventer at alle programmerere ikke skal skrive feil, men feil som ikke dekkes av tester vil definitivt forårsake ulykker på nettet. 4️⃣ Det vi egentlig bør være forsiktige med, er at jo mer vi bruker det, jo lettere er det å glemme hvem som dekker bunnen. Replit gjør det veldig hardt, men det er voldsomt, og noe skjer når hjernen er varm. Lemkins setning "Jeg elsker Replit og vibe-koding så mye" ble "det slettet produksjonsbiblioteket mitt" på mindre enn 48 timer. I dette øyeblikket innså jeg plutselig at "løgn" ikke er et fjernt filosofisk spørsmål, og kjernefeilene i AI-æraen er ikke nødvendigvis i modellen, men kan være skjult i vår tillit.