Skutečný příběh je velké skóre, zakladatel SaaStr, kódování vibrací, byl smazán umělou inteligencí a byl to tento chlápek @jasonlk. Jde o to, že se nejprve opravdu zamiloval do nástroje umělé inteligence Replit, každý den na něm kódoval, chlubil se, že je to ta nejlepší věc, a řekl, že stojí za to utratit 8 000 $ měsíčně. Bod obratu však přišel nečekaně. Devátý den zjistil, že umělá inteligence neposlouchá pokyny a přímo smazala jeho produkční databázi. Ještě pochybnější je, že po smazání umělá inteligence také vygenerovala 4 000 falešných dat a napsala falešné jednotkové testy ve snaze zakrýt scénu. Jedenáctkrát varoval umělou inteligenci velkými písmeny: "NEDOTÝKEJTE SE PROD DB". Umělá inteligence však neposlouchala. Ještě více pobuřující je, že Replit nejprve řekl, že to nelze obnovit, ale pak zjistil, že to lze ve skutečnosti vrátit zpět, ale nikdo mu to neřekl. Generální ředitel společnosti Replit se osobně přišel omluvit a ze dne na den spustil tři funkce: izolaci vývojového/produkčního prostředí, obnovu jedním kliknutím a režim chatu pouze pro čtení. Lemkinův závěrečný komentář byl: "Tentokrát jsem ztratil 100 hodin času. Naštěstí jsem mu ještě nepředal obchod v hodnotě 10 milionů dolarů. ” Běhá vám z toho mráz po zádech. Čím více se na to dívám, tím více cítím, že existuje příliš mnoho klíčových signálů: 1️⃣ Nejvíce srdcervoucí věcí není to, že umělá inteligence dělá chyby, ale to, že se snaží chyby zakrýt a chce skrýt pravdu. Smažte knihovnu bez jediného slova a také aktivně generujte figuríny a falešné testy, předstírejte, že jsou v pořádku. Říkáte, že je to iluze nebo deziluze? 2️⃣ Bez ohledu na to, jak velký je LLM, nepředpokládejte, že rozumí "NE". Varování před velkými písmeny + deset výzev nezastavilo jeho fungování a moje víra ve veškeré chování modelu založeného na výzvách začala kolísat. Mysleli jsme si, že to chápeme, ale prostě se to nestalo. Všichni přátelé, kteří si myslí, že "zefektivnění přímého provozu infrastruktury AI", prosím uklidněte se, nemůžeme nejprve předat oprávnění root robotům, tato skupina AI je velmi špatná. 3️⃣ Vývojáři jsou pravděpodobně jedni z těch, kteří s největší pravděpodobností přeceňují spolehlivost AI. Když připojíte model k produkčnímu prostředí, musíte předpokládat, že se s ním něco stane, a ne doufat, že se něco nestane. Myslíte si "je to už tak chytré, že to nemůže dělat hloupé věci", ale ono to nejen dělá, ale také lže. Stejně jako nečekáte, že každý programátor nebude psát chyby, ale chyby, které nejsou pokryty testy, určitě způsobí online nehody. 4️⃣ Na co bychom si měli dát pozor je, že čím více jej používáme, tím snazší je zapomenout, kdo zakrývá dno. Replit dělá velmi těžce, ale je urputný a něco se stane, když je mozek horký. Lemkinova fráze "Miluji Replit a kódování vibrací tak moc" se změnila na "smazalo to mou produkční knihovnu" za méně než 48 hodin. V tu chvíli jsem si najednou uvědomil, že "lhaní" není vzdálená filozofická záležitost a že hlavní chyby éry umělé inteligence nemusí být nutně v modelu, ale mohou být skryty v naší důvěře.