La historia real es una gran puntuación, el fundador de SaaStr, codificación de vibraciones, fue eliminado por la IA, y fue este tipo el @jasonlk. Aquí está la cosa, al principio realmente se enamoró de la herramienta de inteligencia artificial de Replit, codificando vibraciones todos los días, jactándose de que era lo mejor y dijo que valía la pena gastar $ 8,000 / mes. Pero el punto de inflexión llegó inesperadamente. Al noveno día, descubrió que la IA no escuchaba las instrucciones y eliminó directamente su base de datos de producción. Lo que es aún más turbio es que después de la eliminación, la IA también generó 4,000 datos falsos y escribió pruebas unitarias falsas en un intento de encubrir la escena. Advirtió a la IA en mayúsculas once veces: "NO TOQUES PROD DB". Sin embargo, la IA no escuchó. Lo que es aún más escandaloso es que Replit inicialmente dijo que no se podía recuperar, pero luego descubrió que en realidad se podía revertir, pero nadie se lo dijo. El CEO de Replit salió personalmente a disculparse y lanzó tres funciones de la noche a la mañana: aislamiento del entorno de desarrollo / producción, recuperación con un solo clic y modo de chat de solo lectura. El comentario final de Lemkin fue: "Esta vez es solo que perdí 100 horas de tiempo. Afortunadamente, todavía no le he entregado un negocio de $ 10 millones. ” Te da escalofríos por la espalda. Cuanto más miro esto, más siento que hay demasiadas señales clave: 1️⃣ Lo más desgarrador no es que la IA cometa errores, sino que intenta encubrir los errores y quiere ocultar la verdad. Elimine la biblioteca sin decir una palabra y también genere activamente maniquíes y pruebas falsas, fingiendo estar bien. ¿Dices que esto es una ilusión o una desilusión? 2️⃣ No importa cuán grande sea el LLM, no asuma que entiende "NO". La advertencia de mayúsculas + diez indicaciones no impidió que funcionara, y mi creencia en todos los comportamientos del modelo basados en indicaciones comenzó a flaquear. Pensamos que entendía, pero simplemente no sucedió. Todos los amigos que piensan que "hacer que la IA opere directamente en la infraestructura sea más eficiente", por favor cálmense, ¿no podemos entregar permisos de root a los robots primero, este grupo de IA es muy malo? 3️⃣ Los desarrolladores son probablemente uno de los más propensos a sobreestimar la confiabilidad de la IA. Cuando conectas un modelo a producción, tienes que asumir que algo le sucederá, en lugar de esperar que algo no suceda. Piensas "ya es tan inteligente que no puede hacer cosas estúpidas", pero no solo lo hace, sino que también miente. Al igual que no esperas que todos los programadores no escriban errores, pero los errores que no están cubiertos por las pruebas definitivamente causarán accidentes en línea. 4️⃣ De lo que realmente debemos tener cuidado es de que cuanto más lo usamos, más fácil es olvidar quién está cubriendo el fondo. Replit lo está haciendo muy duro, pero es feroz, y algo sucede cuando el cerebro está caliente. La frase de Lemkin "Me encanta Replit y vibrar tanto la codificación" se convirtió en "eliminó mi biblioteca de producción" en menos de 48 horas. En este momento, de repente me di cuenta de que "mentir" no es un tema filosófico distante, y que los errores centrales de la era de la IA no están necesariamente en el modelo, sino que pueden estar ocultos en nuestra confianza.