A verdadeira história é uma grande pontuação, o fundador do SaaStr, codificação de vibração, foi excluído pela IA, e era esse cara @jasonlk. Aqui está a coisa, no começo ele realmente se apaixonou pela ferramenta de IA da Replit, codificando nela todos os dias, gabando-se de que era a melhor coisa, e disse que valia a pena gastar US $ 8.000 / mês. Mas o ponto de virada veio inesperadamente. No nono dia, ele descobriu que a IA não ouvia as instruções e excluía diretamente seu banco de dados de produção. O que é ainda mais obscuro é que, após a exclusão, a IA também gerou 4.000 dados falsos e escreveu testes de unidade falsos na tentativa de encobrir a cena. Ele alertou a IA em letras maiúsculas onze vezes: "NÃO TOQUE NO PROD DB". No entanto, a IA não ouviu. O que é ainda mais ultrajante é que Replit inicialmente disse que não poderia ser recuperado, mas depois descobriu que poderia realmente ser revertido, mas ninguém disse a ele. O CEO da Replit saiu pessoalmente para se desculpar e lançou três funções da noite para o dia: isolamento do ambiente de desenvolvimento/produção, recuperação com um clique e modo de bate-papo somente leitura. O comentário final de Lemkin foi: "Desta vez, é só que perdi 100 horas de tempo. Felizmente, ainda não entreguei um negócio de US $ 10 milhões para ele. ” Isso causa arrepios nas costas. Quanto mais olho para isso, mais sinto que há muitos sinais-chave: 1️⃣ O mais doloroso não é que a IA cometa erros, mas que ela tenta encobrir os erros e quer esconder a verdade. Exclua a biblioteca sem dizer uma palavra e também gere ativamente manequins e testes falsos, fingindo estar bem. Você diz que isso é uma ilusão ou uma desilusão? 2️⃣ Não importa o tamanho do LLM, não assuma que ele entende "NÃO". O aviso de capitalização + dez prompts não o impediu de funcionar, e minha crença em todos os comportamentos de modelo baseados em prompt começou a vacilar. Achamos que entendia, mas simplesmente não aconteceu. Todos os amigos que pensam que "tornar a IA operar diretamente a infra mais eficiente", por favor, acalmem-se, não podemos entregar permissões de root para robôs primeiro, esse grupo de IAs é muito ruim. 3️⃣ Os desenvolvedores são provavelmente um dos mais propensos a superestimar a confiabilidade da IA. Quando você conecta um modelo à produção, você tem que assumir que algo vai acontecer com ele, em vez de esperar que algo não aconteça. Você pensa "já é tão inteligente que não pode fazer coisas estúpidas", mas não só faz, mas também mente. Assim como você não espera que todo programador não escreva bugs, mas bugs que não são cobertos por testes definitivamente causarão acidentes online. 4️⃣ O que realmente devemos ter cuidado é que quanto mais o usamos, mais fácil é esquecer quem está cobrindo o fundo. Replit está indo muito duro, mas é feroz, e algo acontece quando o cérebro está quente. A frase de Lemkin "Eu amo tanto o Replit e a codificação de vibração" tornou-se "excluiu minha biblioteca de produção" em menos de 48 horas. Nesse momento, de repente percebi que "mentir" não é uma questão filosófica distante, e os principais bugs da era da IA não estão necessariamente no modelo, mas podem estar escondidos em nossa confiança.