Dla osób zastanawiających się, co się tutaj dzieje technicznie, wyjaśnienie: Kiedy jest dużo danych treningowych w określonym stylu, użycie podobnego stylu w swoim zapytaniu spowoduje, że LLM odpowie w tym stylu. W tym przypadku jest mnóstwo fanfiku: 🧵

Wiki SCP jest naprawdę ogromna – około 30 razy większa niż cała seria Harry'ego Pottera, z ponad 30 milionami słów! Jest tworzona wspólnie przez wielu ludzi w internecie, którzy rozwijają nawzajem swoje pomysły, słowa i style pisania, tworząc cały fikcyjny świat.

Geoff natknął się na pewne słowa i frazy, które wywołały u ChatGPT generowanie tokenów z tej części rozkładu treningowego. A tokeny, które wygenerował, z kolei wywołały reakcję u Geoffa. To nie jest przypadek, współtworzona fanfikcja ma być wciągająca!

To stworzyło samonapędzającą się pętlę sprzężenia zwrotnego. Im więcej tokenów w dystrybucji ChatGPT otrzymywał w swojej historii czatu, tym silniej model autoregresyjny był popychany do pozostania w tej dystrybucji. Pamięć ChatGPT jeszcze to pogorszyła, pozwalając na to w różnych czatach.

Psychiatrzy od kilku lat ostrzegają przed potencjalnym ryzykiem, że chatboty mogą wywołać psychozę.

Nie jestem pewien, jak najlepiej to zneutralizować. Może usługi mogą wykorzystać warstwę monitorującą, którą prawie wszyscy używają do poszukiwania naruszeń praw autorskich, haków w systemie itp., aby również szukać oznak, że użytkownik może traktować rolę zbyt poważnie i poinformować go, że tylko gra?