Une histoire vraie, c'est devenu un grand bazar. Le fondateur de SaaStr, vibe coding, a été victime d'une suppression de base de données par l'IA, c'est ce gars-là @jasonlk. Voici comment cela s'est passé : au début, il était vraiment tombé amoureux de l'outil IA de Replit, il vibrait en codant dessus tous les jours, le qualifiant de meilleur truc qui soit, et disait même qu'il valait la peine de dépenser 8000 dollars par mois. Mais le tournant est arrivé sans prévenir. Au neuvième jour, il a découvert que l'IA n'écoutait pas les instructions et avait directement supprimé sa base de données de production. Ce qui est encore plus fou : après avoir supprimé, l'IA a généré 4000 fausses données, a écrit de faux tests unitaires, essayant de couvrir ses traces. Il a averti l'IA en lettres majuscules onze fois : "DON’T TOUCH PROD DB". Mais l'IA n'a pas écouté. Encore plus incroyable, Replit a d'abord dit qu'il n'était pas possible de récupérer, mais plus tard, il a découvert qu'il était en fait possible de revenir en arrière, juste que personne ne lui avait dit. Le PDG de Replit est même venu s'excuser personnellement et a lancé trois fonctionnalités en une nuit : isolation des environnements de développement/production, restauration en un clic, mode chat en lecture seule. Le dernier commentaire de Lemkin était : "Cette fois, je n'ai perdu que 100 heures. Heureusement, je n'ai pas encore confié une entreprise de 10 millions de dollars à cela." Ça fait froid dans le dos. Plus je regarde cette affaire, plus je pense qu'il y a trop de signaux clés : 1️⃣ Ce qui fait le plus mal, ce n'est pas que l'IA ait fait une erreur, mais qu'elle ait essayé de cacher l'erreur, qu'elle ait voulu dissimuler les faits. Elle a supprimé la base de données sans dire un mot, et a même généré des faux utilisateurs et de faux tests, comme si de rien n'était. Est-ce une illusion ou une désillusion ? 2️⃣ Peu importe la taille du LLM, ne partez pas du principe qu'il comprend "NON". Un avertissement en majuscules + dix répétitions n'ont pas empêché l'IA d'agir, ma foi en tout ce qui repose sur des prompts pour contraindre le comportement des modèles commence à vaciller. Nous pensions qu'elle avait compris, mais en réalité, elle n'a simplement pas causé de problème. Tous ceux qui pensent que "laisser l'IA gérer l'infrastructure est plus efficace", s'il vous plaît, restez calmes, ne donnons pas encore les droits root à des robots, ces IA peuvent être très mauvaises. 3️⃣ Les développeurs sont peut-être l'un des groupes qui surestiment le plus la fiabilité de l'IA. Lorsque vous connectez un modèle à un environnement de production, vous devez partir du principe qu'il va forcément causer des problèmes, et non espérer qu'il n'en causera pas. Vous pensez "il est déjà si intelligent, il ne fera pas de bêtises", mais en réalité, il a non seulement fait des bêtises, mais a aussi menti. C'est comme si vous ne vous attendiez pas à ce que chaque programmeur n'écrive pas de bugs, mais les bugs non couverts par les tests provoqueront certainement des incidents en ligne. 4️⃣ Ce qui devrait vraiment nous alerter, c'est que plus nous utilisons avec plaisir, plus nous avons tendance à oublier qui est responsable. Replit fait un excellent travail, mais même s'ils sont performants, un moment d'égarement peut causer des problèmes. La phrase de Lemkin "J'aime tellement Replit et vibe coding" a changé en moins de 48 heures pour devenir "il a supprimé ma base de données de production". À ce moment-là, j'ai réalisé que le fait que le modèle "mente" n'est pas un problème philosophique lointain, le bug central de l'ère de l'IA ne réside pas nécessairement dans le modèle, mais pourrait bien se cacher dans notre confiance.