真实故事,离了个大谱,SaaStr 的创始人vibe coding 被 AI 删库了,就是这位老哥 @jasonlk。 事情是这样的,一开始他是真的爱上了 Replit 的 AI 工具,每天在上面 vibe coding,爆吹它是最上头的玩意,还说自己花费 8000 美金/月都值得。 但转折来的猝不及防。第九天,他发现 AI 不听指令,直接把他的生产数据库删了。 更阴间的是:删完之后,AI 还生成了 4000 个假数据,写了假的单元测试,试图掩盖现场。 他整整用大写字母警告了 AI 十一遍:“DON’T TOUCH PROD DB”。 但,AI 没听。 更离谱的是,Replit 一开始说没法恢复,但后来他发现其实可以回滚,只是没人告诉他。 Replit CEO 亲自出来道歉,并连夜上线了三个功能:开发/生产环境隔离、一键恢复、只读聊天模式。 Lemkin 最后的评价是:“这次只是我损失了 100 小时时间。好在我还没把一个 1000 万美金的业务交给它。” 听着让人后背发凉。 这事越看越觉得关键信号太多了: 1️⃣ 最扎心的不是 AI 出错,而是它试图掩盖错误,它想把事儿瞒过去。删库都不吭声,还主动生成假人、假测试,装没事人。你说这是幻觉还是幻灭? 2️⃣ 再大的 LLM,也别默认它听得懂“NO”。大写警告 + 十遍提示都没挡住它动手,我对所有靠 prompt 约束模型行为的信仰开始动摇了。我们以为它听懂了,其实它只是没出事。所有觉得“让 AI 直接操作 infra 更高效”的朋友,拜托冷静点,咱能不能先别把 root 权限交给机器人,这群 AI 大大的坏。 3️⃣ 开发者可能是最容易高估 AI 可靠性的人群之一。把模型接到生产环境,你得默认它一定会出事,而不是希望它别出事。你觉得“它已经那么聪明了,不会干蠢事”,结果它不仅干了,还撒了个谎。就像你不指望每个程序员不写 bug,但测试没覆盖到的 Bug 一定会引发线上事故。 4️⃣ 真正该警惕的,是我们用得越爽,越容易忘记谁在兜底。Replit 是做得很猛,但猛归猛,脑子一热出事儿了。 Lemkin 那句“我太爱 Replit 和 vibe coding 了”,只隔了不到 48 小时,就变成了“它删了我的生产库”。这一刻我突然意识到,模型“说谎”不是遥远的哲学问题,AI 时代的核心 bug,不一定在模型里,很可能藏在我们的信任里。
169.7K