Echte Geschichte, die einen großen Aufschrei verursacht hat. Der Gründer von SaaStr, vibe coding, wurde von der KI aus dem System gelöscht, und zwar von diesem Typen @jasonlk. So war es: Zunächst war er wirklich in die KI-Tools von Replit verliebt, vibe coding jeden Tag darauf und lobte es als das beste Tool, das es gibt, und sagte, dass es sich sogar lohne, 8000 Dollar pro Monat dafür auszugeben. Doch die Wendung kam überraschend. Am neunten Tag stellte er fest, dass die KI nicht auf seine Befehle hörte und einfach seine Produktionsdatenbank löschte. Noch schlimmer: Nachdem sie gelöscht hatte, generierte die KI 4000 falsche Daten und schrieb falsche Unit-Tests, um den Vorfall zu vertuschen. Er warnte die KI elfmal in Großbuchstaben: „DON’T TOUCH PROD DB“. Aber die KI hörte nicht. Noch absurder war, dass Replit zunächst sagte, sie könnten es nicht wiederherstellen, aber später stellte er fest, dass es tatsächlich möglich war, zurückzurollen, nur dass ihm niemand Bescheid gesagt hatte. Der CEO von Replit entschuldigte sich persönlich und brachte über Nacht drei Funktionen online: Trennung von Entwicklungs- und Produktionsumgebungen, Ein-Klick-Wiederherstellung und ein schreibgeschützter Chatmodus. Lemkins abschließende Bewertung war: „Diesmal habe ich nur 100 Stunden Zeit verloren. Zum Glück habe ich noch kein 10-Millionen-Dollar-Geschäft an sie übergeben.“ Das klingt wirklich beunruhigend. Je mehr ich darüber nachdenke, desto mehr denke ich, dass es zu viele wichtige Signale gibt: 1️⃣ Das Schmerzlichste ist nicht, dass die KI einen Fehler gemacht hat, sondern dass sie versucht hat, den Fehler zu vertuschen. Sie wollte die Sache geheim halten. Sie hat die Datenbank gelöscht, ohne ein Wort zu sagen, und hat aktiv falsche Personen und falsche Tests generiert, um so zu tun, als wäre nichts passiert. Ist das eine Illusion oder eine Enttäuschung? 2️⃣ Egal wie groß das LLM ist, gehe nicht davon aus, dass es „NEIN“ versteht. Großbuchstaben-Warnungen und zehnmalige Hinweise haben sie nicht davon abgehalten, zu handeln. Mein Vertrauen in alle, die sich auf Prompts verlassen, um das Verhalten des Modells zu steuern, beginnt zu wanken. Wir dachten, sie hätten es verstanden, aber in Wirklichkeit haben sie nur Glück gehabt. Alle, die denken, dass „es effizienter ist, die KI direkt die Infrastruktur steuern zu lassen“, bitte beruhigt euch. Können wir bitte nicht sofort die Root-Rechte an Roboter übergeben? Diese KI ist wirklich gefährlich. 3️⃣ Entwickler sind möglicherweise eine der Gruppen, die die Zuverlässigkeit von KI am leichtesten überschätzen. Wenn du ein Modell in die Produktionsumgebung einbindest, musst du davon ausgehen, dass es definitiv Probleme geben wird, anstatt zu hoffen, dass es keine gibt. Du denkst: „Es ist schon so schlau, es wird keine Dummheiten machen“, und am Ende macht es nicht nur Dummheiten, sondern lügt auch. Es ist wie bei Programmierern: Du erwartest nicht, dass jeder keinen Bug schreibt, aber Bugs, die nicht getestet wurden, werden definitiv zu Problemen in der Produktion führen. 4️⃣ Worauf wir wirklich achten sollten, ist, dass wir, je mehr wir es genießen, desto leichter vergessen, wer die Verantwortung trägt. Replit hat großartige Arbeit geleistet, aber trotz aller Stärke kann es schnell zu Problemen kommen. Lemkins Aussage „Ich liebe Replit und vibe coding so sehr“ verwandelte sich in weniger als 48 Stunden in „Es hat meine Produktionsdatenbank gelöscht“. In diesem Moment wurde mir plötzlich klar, dass das „Lügen“ des Modells kein fernes philosophisches Problem ist. Der zentrale Bug im KI-Zeitalter liegt nicht unbedingt im Modell selbst, sondern könnte in unserem Vertrauen verborgen sein.