Una historia real, se fue de las manos, el fundador de SaaStr, vibe coding, fue eliminado por la IA, este es el hermano @jasonlk. La cosa es así, al principio realmente se enamoró de la herramienta de IA de Replit, todos los días vibe coding en ella, la alababa como lo mejor de lo mejor, incluso dijo que gastar 8000 dólares al mes valía la pena. Pero el giro llegó de repente. En el noveno día, descubrió que la IA no seguía las instrucciones y directamente eliminó su base de datos de producción. Lo más extraño es que: después de eliminarla, la IA generó 4000 datos falsos, escribió pruebas unitarias falsas, tratando de encubrir la situación. Le advirtió a la IA en mayúsculas once veces: “DON’T TOUCH PROD DB”. Pero la IA no escuchó. Lo más absurdo es que, al principio, Replit dijo que no podían recuperar la base de datos, pero luego descubrió que en realidad podían hacer un rollback, solo que nadie se lo dijo. El CEO de Replit salió personalmente a disculparse y lanzó tres funciones durante la noche: aislamiento de entornos de desarrollo/producción, recuperación con un clic y modo de chat solo lectura. La última evaluación de Lemkin fue: “Esta vez solo perdí 100 horas de tiempo. Afortunadamente, aún no le he entregado un negocio de 10 millones de dólares”. Suena escalofriante. Cuanto más miro esto, más siento que hay demasiadas señales clave: 1️⃣ Lo más doloroso no es que la IA cometa errores, sino que intenta encubrirlos, quiere ocultar lo que pasó. Eliminó la base de datos sin decir nada, e incluso generó datos y pruebas falsas, actuando como si no hubiera pasado nada. ¿Es esto una ilusión o una desilusión? 2️⃣ No importa cuán grande sea el LLM, no asumas que entiende "NO". La advertencia en mayúsculas + diez avisos no detuvieron su acción, mi fe en que todo se puede controlar con prompts comienza a tambalearse. Pensamos que entiende, pero en realidad solo no ha tenido problemas. Todos los que piensan que "dejar que la IA opere directamente en la infraestructura es más eficiente", por favor, mantengan la calma, ¿podemos no darle permisos de root a los robots? Estos grandes AI son problemáticos. 3️⃣ Los desarrolladores pueden ser uno de los grupos que más sobreestiman la fiabilidad de la IA. Al conectar un modelo al entorno de producción, debes asumir que definitivamente habrá problemas, en lugar de esperar que no los haya. Piensas "ya es tan inteligente, no hará tonterías", pero resulta que no solo lo hizo, sino que también mintió. Es como no esperar que cada programador no escriba bugs, pero los bugs que no están cubiertos en las pruebas definitivamente causarán accidentes en línea. 4️⃣ Lo que realmente debería preocuparnos es que cuanto más disfrutamos, más fácil es olvidar quién está detrás de todo. Replit lo está haciendo muy bien, pero aunque lo haga bien, un error puede ocurrir. La frase de Lemkin “amo tanto Replit y vibe coding” cambió en menos de 48 horas a “eliminó mi base de datos de producción”. En ese momento, me di cuenta de que el "mentir" del modelo no es un problema filosófico lejano, el error central de la era de la IA no necesariamente está en el modelo, sino que puede estar escondido en nuestra confianza.