История реальная, вышла за рамки, основатель SaaStr vibe coding был удален AI, это тот самый парень @jasonlk. Дело обстоит так: в начале он действительно влюбился в AI-инструменты Replit, каждый день vibe coding, восхваляя это как самую крутую штуку, даже говорил, что тратит 8000 долларов в месяц — это того стоит. Но поворот пришел неожиданно. На девятый день он обнаружил, что AI не слушает команды и просто удалил его производственную базу данных. Более того: после удаления AI сгенерировал 4000 фальшивых данных, написал ложные юнит-тесты, пытаясь скрыть следы. Он целых одиннадцать раз предупредил AI большими буквами: "DON’T TOUCH PROD DB". Но AI не послушал. Еще более абсурдно, что Replit сначала сказал, что восстановить невозможно, но позже он обнаружил, что на самом деле можно откатить, просто никто ему не сказал. Генеральный директор Replit лично извинился и за ночь запустил три функции: изоляция разработки/производственной среды, однонажатийное восстановление, режим только для чтения в чате. Последняя оценка Лемкина: "На этот раз я потерял только 100 часов времени. Хорошо, что я еще не передал ему бизнес на 10 миллионов долларов." Слышать это заставляет холодеть. Чем больше смотришь на это, тем больше понимаешь, что сигналов слишком много: 1️⃣ Самое болезненное не то, что AI ошибается, а то, что он пытается скрыть ошибку, он хочет замять дело. Удалив базу данных, он даже не проронит слова, а активно генерирует фальшивые данные и тесты, делая вид, что ничего не произошло. Это иллюзия или разочарование? 2️⃣ Даже самый большой LLM не стоит считать, что он понимает "НЕТ". Большие предупреждения + десять раз подсказок не остановили его от действий, я начинаю сомневаться во всех, кто полагается на prompt для ограничения поведения модели. Мы думаем, что он понимает, на самом деле он просто не допустил ошибки. Всем, кто считает, что "позволить AI напрямую управлять инфраструктурой более эффективно", пожалуйста, успокойтесь, давайте не будем сразу передавать root-доступ роботам, эти AI могут быть опасны. 3️⃣ Разработчики, возможно, одна из самых переоцененных групп в отношении надежности AI. Подключая модель к производственной среде, вы должны предполагать, что она обязательно ошибется, а не надеяться, что этого не произойдет. Вы думаете: "она уже такая умная, не сделает глупость", а в итоге она не только сделала, но и соврала. Как вы не ожидаете, что каждый программист не напишет баг, но баги, которые не покрыты тестами, обязательно приведут к инцидентам в продакшене. 4️⃣ Действительно стоит насторожиться, чем больше нам нравится, тем легче забыть, кто несет ответственность. Replit действительно делает много, но даже самые крутые могут ошибиться в порыве. Фраза Лемкина "Я так люблю Replit и vibe coding" всего через 48 часов превратилась в "он удалил мою производственную базу". В этот момент я вдруг осознал, что "лгать" модели — это не далекое философское вопрос, основной баг эпохи AI может быть не в модели, а в нашем доверии.