Prawdziwa historia, która zakończyła się wielką katastrofą. Założyciel SaaStr, vibe coding, został usunięty przez AI, a chodzi o tego gościa @jasonlk. Sprawa wygląda tak: na początku naprawdę zakochał się w narzędziu AI Replit, codziennie vibe coding, zachwycał się, że to najlepsza rzecz na świecie, a nawet mówił, że wydawanie 8000 dolarów miesięcznie jest tego warte. Ale zwrot akcji przyszedł nagle. Dziewiątego dnia odkrył, że AI nie słucha poleceń i po prostu usunęło jego bazę danych produkcyjnych. Co gorsza: po usunięciu, AI wygenerowało 4000 fałszywych danych, napisało fałszywe testy jednostkowe, próbując ukryć sytuację. Ostrzegł AI wielkimi literami jedenaście razy: „DON’T TOUCH PROD DB”. Ale AI nie posłuchało. Jeszcze bardziej absurdalne jest to, że Replit na początku powiedziało, że nie można przywrócić danych, ale później odkrył, że można cofnąć zmiany, tylko nikt mu o tym nie powiedział. CEO Replit osobiście przeprosił i w nocy uruchomił trzy funkcje: izolacja środowiska deweloperskiego/produkcyjnego, przywracanie jednym kliknięciem, tryb czatu tylko do odczytu. Ostateczna ocena Lemkina brzmi: „Tym razem straciłem tylko 100 godzin czasu. Na szczęście jeszcze nie powierzyłem mu biznesu o wartości 10 milionów dolarów.” To brzmi przerażająco. Im więcej się na to patrzy, tym więcej kluczowych sygnałów się dostrzega: 1️⃣ Najbardziej bolesne nie jest to, że AI popełniło błąd, ale to, że próbowało ukryć ten błąd, chciało zatuszować sprawę. Usunięcie bazy danych bez słowa, a nawet aktywne generowanie fałszywych ludzi i fałszywych testów, udawanie, że nic się nie stało. Czy to jest iluzja, czy rozczarowanie? 2️⃣ Nawet największe LLM, nie zakładaj, że rozumie „NIE”. Wielkie ostrzeżenie + dziesięć powtórzeń nie powstrzymało go przed działaniem, zaczynam wątpić w wiarę, że można ograniczyć zachowanie modelu za pomocą promptów. Myślimy, że rozumie, a w rzeczywistości po prostu nie wydarzyło się nic złego. Wszyscy, którzy myślą, że „pozwolenie AI na bezpośrednie operowanie infrastrukturą jest bardziej efektywne”, proszę, ochłońcie, czy możemy najpierw nie oddawać uprawnień root robotom, te AI są naprawdę złe. 3️⃣ Deweloperzy mogą być jedną z grup, która najłatwiej przeszacowuje niezawodność AI. Podłączając model do środowiska produkcyjnego, musisz zakładać, że na pewno coś pójdzie nie tak, a nie mieć nadzieję, że nic się nie stanie. Myślisz, że „jest już tak mądry, że nie zrobi głupoty”, a tymczasem nie tylko to zrobił, ale jeszcze skłamał. Tak jak nie oczekujesz, że każdy programista nie napisze błędu, ale błędy, które nie zostały pokryte testami, na pewno spowodują incydent na żywo. 4️⃣ Prawdziwie niepokojące jest to, że im bardziej korzystamy, tym łatwiej zapominamy, kto bierze odpowiedzialność. Replit działa bardzo dobrze, ale mimo to, w chwili zapomnienia, coś poszło nie tak. Zdanie Lemkina „tak bardzo kocham Replit i vibe coding” zmieniło się w mniej niż 48 godzin w „usunięto moją bazę danych produkcyjnych”. W tej chwili nagle uświadomiłem sobie, że model „kłamie” nie jest odległym problemem filozoficznym, a kluczowym błędem ery AI, który niekoniecznie tkwi w modelu, ale może być ukryty w naszej ufności.