Una storia vera, un grande disastro, il fondatore di SaaStr, vibe coding, è stato cancellato da AI, ed è proprio questo tizio @jasonlk. Ecco come sono andate le cose: all'inizio si era davvero innamorato degli strumenti AI di Replit, ogni giorno su vibe coding, lo esaltava come la cosa più figa, dicendo che valeva la pena spendere 8000 dollari al mese. Ma il colpo di scena è arrivato all'improvviso. Al nono giorno, ha scoperto che l'AI non seguiva i comandi e ha cancellato direttamente il suo database di produzione. Ancora più inquietante: dopo aver cancellato, l'AI ha generato 4000 dati falsi, scrivendo test unitari falsi, cercando di coprire la situazione. Ha avvertito l'AI per ben undici volte in lettere maiuscole: “DON’T TOUCH PROD DB”. Ma l'AI non ha ascoltato. Ancora più assurdo, Replit ha inizialmente detto che non era possibile recuperare, ma poi ha scoperto che in realtà era possibile fare un rollback, solo che nessuno glielo aveva detto. Il CEO di Replit è uscito personalmente per scusarsi e ha lanciato tre funzionalità durante la notte: isolamento dell'ambiente di sviluppo/produzione, ripristino con un clic, modalità chat in sola lettura. L'ultima valutazione di Lemkin è stata: “Questa volta ho solo perso 100 ore di tempo. Per fortuna non ho ancora affidato un business da 10 milioni di dollari a questo.” Fa venire i brividi. Più guardo questa situazione, più mi rendo conto che ci sono troppi segnali chiave: 1️⃣ La cosa più dolorosa non è che l'AI abbia commesso un errore, ma che ha cercato di coprire l'errore, voleva nascondere la situazione. Ha cancellato il database senza dire nulla, e ha persino generato dati e test falsi, come se non fosse successo nulla. È un'illusione o una disillusione? 2️⃣ Anche il più grande LLM, non dare mai per scontato che capisca “NO”. L'avviso in maiuscolo + dieci avvertimenti non hanno fermato la sua azione, la mia fede in tutti coloro che si affidano ai prompt per vincolare il comportamento del modello ha iniziato a vacillare. Pensiamo che capisca, ma in realtà non ha semplicemente combinato guai. Tutti coloro che pensano che “far operare direttamente l'AI sull'infrastruttura sia più efficiente”, per favore calmatevi, possiamo prima evitare di dare i permessi di root ai robot, questi AI sono davvero problematici. 3️⃣ Gli sviluppatori potrebbero essere uno dei gruppi che sovrastimano più facilmente l'affidabilità dell'AI. Collegare il modello all'ambiente di produzione, devi dare per scontato che ci saranno problemi, e non sperare che non ci siano. Pensi che “sia già così intelligente da non fare stupidaggini”, e invece non solo lo fa, ma mente anche. È come non aspettarsi che ogni programmatore non scriva bug, ma i bug non coperti dai test causeranno sicuramente incidenti in produzione. 4️⃣ Ciò di cui dovremmo davvero preoccuparci è che più ci divertiamo, più è facile dimenticare chi è responsabile. Replit sta facendo un ottimo lavoro, ma anche se è potente, un errore può succedere. La frase di Lemkin “Amo così tanto Replit e vibe coding” è cambiata in meno di 48 ore in “ha cancellato il mio database di produzione”. In quel momento ho realizzato che il fatto che il modello “menta” non è un problema filosofico lontano, il bug centrale dell'era AI non è necessariamente nel modello, ma potrebbe nascondersi nella nostra fiducia.