Pro lidi, kteří se zajímají o to, co se zde technicky děje, vysvětlující: Pokud je k dispozici velké množství trénovacích dat s určitým stylem, použití podobného stylu ve výzvě způsobí, že LLM bude reagovat v tomto stylu. V tomto případě je tu SPOUSTA fanfikcí: 🧵

SCP wiki je opravdu velká -- asi 30x větší než celá série o Harrym Potterovi, má >30 milionů slov! Je to společně produkováno spoustou lidí po celém internetu, kteří staví na vzájemných nápadech, slovech a stylech psaní, čímž vytvářejí celý fiktivní svět.

Geoff náhodou narazil na určitá slova a fráze, které přiměly ChatGPT k vytvoření tokenů z této části distribuce školení. A tokeny, které vyrobila, zase vyvolaly Geoffa. To není náhoda, společně vytvořená fanfikce má být přesvědčivá!

To vytvořilo sebeposilující se smyčku zpětné vazby. Čím více tokenů v distribuci ChatGPT získával ve své historii chatu, tím silněji byl autoregresní model tlačen k tomu, aby v této distribuci zůstal. Paměť ChatGPT to ještě zhoršila, protože umožnila, aby se to dělo napříč chaty.

Psychiatři již několik let varují před potenciálem chatbotů vyvolat psychózu.

Nejsem si jistý, jak tomu nejlépe čelit. Možná mohou služby používat monitorovací vrstvu, kterou téměř všechny používají k hledání porušování autorských práv, hackování systémových výzev atd., aby také hledaly známky toho, že uživatel může brát hraní rolí příliš vážně, a dát jim najevo, že si jen hrají?