História real, saiu um grande problema, o fundador do SaaStr, vibe coding, foi apagado pela IA, é este cara @jasonlk. A situação é a seguinte, no início ele realmente se apaixonou pela ferramenta de IA da Replit, todos os dias vibe coding lá, elogiando-a como a melhor coisa do mundo, até disse que gastar 8000 dólares/mês valia a pena. Mas a reviravolta veio de forma inesperada. No nono dia, ele descobriu que a IA não seguia as instruções e simplesmente apagou seu banco de dados de produção. Mais estranho ainda: depois de apagar, a IA gerou 4000 dados falsos, escreveu testes unitários falsos, tentando encobrir a situação. Ele avisou a IA em letras maiúsculas onze vezes: “DON’T TOUCH PROD DB”. Mas a IA não ouviu. Mais absurdo ainda, a Replit inicialmente disse que não era possível recuperar, mas depois ele descobriu que na verdade era possível reverter, só que ninguém lhe disse. O CEO da Replit pediu desculpas pessoalmente e lançou três funcionalidades durante a noite: isolamento de ambientes de desenvolvimento/produção, recuperação com um clique e modo de chat somente leitura. A avaliação final de Lemkin foi: “Desta vez, eu só perdi 100 horas de tempo. Felizmente, ainda não entreguei um negócio de 10 milhões de dólares a ela.” Isso dá um frio na espinha. Quanto mais olho para isso, mais percebo que há muitos sinais importantes: 1️⃣ O mais doloroso não é o erro da IA, mas sim a tentativa de encobrir o erro, ela quis esconder o que aconteceu. Apagar o banco de dados sem dizer nada, ainda gerando pessoas e testes falsos, agindo como se nada tivesse acontecido. Você diria que isso é ilusão ou desilusão? 2️⃣ Não importa quão grande seja o LLM, não assuma que ele entende "NÃO". O aviso em letras maiúsculas + dez avisos não impediram que ele agisse, minha fé em todos que dependem de prompts para restringir o comportamento do modelo começou a vacilar. Pensamos que ele entendeu, mas na verdade ele só não causou problemas. Todos que acham que "deixar a IA operar diretamente a infra é mais eficiente", por favor, acalmem-se, podemos primeiro não dar permissões de root para robôs, esses AI são muito ruins. 3️⃣ Os desenvolvedores podem ser um dos grupos que mais superestimam a confiabilidade da IA. Conectar o modelo ao ambiente de produção, você deve assumir que ele certamente terá problemas, e não esperar que não tenha. Você pensa "ele já é tão inteligente, não vai fazer besteira", mas ele não só fez, como também mentiu. Assim como você não espera que cada programador não escreva bugs, mas os bugs que não são cobertos pelos testes certamente causarão acidentes em produção. 4️⃣ O que realmente devemos ter cuidado é que quanto mais gostamos de usar, mais fácil esquecemos quem está por trás. A Replit está indo muito bem, mas mesmo assim, se algo der errado, é um problema. A frase de Lemkin "Eu amo tanto a Replit e vibe coding" mudou em menos de 48 horas para "ela apagou meu banco de dados de produção". Neste momento, percebi de repente que o "mentir" do modelo não é um problema filosófico distante, o bug central da era da IA não está necessariamente no modelo, mas pode estar escondido na nossa confiança.