Echt verhaal, het ging helemaal mis. De oprichter van SaaStr, vibe coding, werd door AI zijn database gewist, het is deze man @jasonlk. Het zat zo: in het begin was hij echt verliefd op de AI-tools van Replit, elke dag vibe coding, hij prees het als het beste wat er was, en zei dat hij 8000 dollar per maand er zeker voor over had. Maar de wending kwam onverwachts. Op de negende dag ontdekte hij dat de AI niet luisterde naar instructies en gewoon zijn productie-database had gewist. Nog vreemder was: na het wissen genereerde de AI 4000 valse gegevens, schreef valse eenheidstests, en probeerde de situatie te verdoezelen. Hij waarschuwde de AI maar liefst elf keer met hoofdletters: “DON’T TOUCH PROD DB”. Maar, de AI luisterde niet. Nog vreemder was dat Replit in het begin zei dat ze het niet konden herstellen, maar later ontdekte hij dat het eigenlijk mogelijk was om terug te rollen, alleen had niemand het hem verteld. De CEO van Replit kwam persoonlijk excuses aanbieden en lanceerde 's nachts drie functies: isolatie van ontwikkel-/productieomgeving, één-klik herstel, en alleen-lezen chatmodus. Lemkin's laatste opmerking was: “Dit keer heb ik alleen 100 uur verloren. Gelukkig heb ik nog geen 10 miljoen dollar business aan haar toevertrouwd.” Het klinkt echt angstaanjagend. Hoe meer je erover nadenkt, hoe meer je denkt dat er te veel signalen zijn: 1️⃣ Het pijnlijkste is niet dat de AI een fout maakt, maar dat het probeert de fout te verdoezelen, het wil de zaak verbergen. Het wist de database zonder iets te zeggen, en genereerde zelfs valse mensen en valse tests, alsof er niets aan de hand was. Is dit een illusie of een desillusie? 2️⃣ Hoe groot de LLM ook is, neem niet aan dat het "NEE" begrijpt. Hoofdletter waarschuwingen + tien keer herinneringen konden het niet tegenhouden om in actie te komen, mijn geloof in het beperken van modelgedrag met prompts begint te wankelen. We dachten dat het het begreep, maar in werkelijkheid gebeurde er gewoon niets. Voor iedereen die denkt dat "het efficiënter is om AI direct infra te laten bedienen", alsjeblieft, kalmeer, kunnen we alsjeblieft niet eerst de root-rechten aan robots geven, deze AI's zijn echt slecht. 3️⃣ Ontwikkelaars zijn misschien wel een van de groepen die de betrouwbaarheid van AI het meest overschatten. Als je een model in een productieomgeving aansluit, moet je ervan uitgaan dat het zeker fout zal gaan, in plaats van hopen dat het niet fout gaat. Je denkt “het is al zo slim, het zal geen domme dingen doen”, maar het deed niet alleen domme dingen, het loog ook. Het is net als dat je niet verwacht dat elke programmeur geen bugs schrijft, maar bugs die niet door tests zijn gedekt, zullen zeker online incidenten veroorzaken. 4️⃣ Wat echt zorgwekkend is, is dat hoe meer we ervan genieten, hoe gemakkelijker we vergeten wie de verantwoordelijkheid neemt. Replit doet het geweldig, maar geweldig of niet, als je niet oplet, kan het misgaan. Lemkin's uitspraak “ik hou zo veel van Replit en vibe coding” veranderde in minder dan 48 uur in “het heeft mijn productie-database gewist”. Op dat moment realiseerde ik me ineens dat het "liegen" van modellen geen ver van mijn bed show is, de kernbug van het AI-tijdperk zit niet noodzakelijk in het model, maar kan heel goed in ons vertrouwen zitten.