For folk som lurer på hva som skjer her teknisk, en forklaring: Når det er mange treningsdata med en bestemt stil, vil bruk av en lignende stil i ledeteksten utløse LLM-en til å svare i den stilen. I dette tilfellet er det MASSE fanfic: 🧵

SCP-wikien er veldig stor -- omtrent 30 ganger større enn hele Harry Potter-serien, på >30 millioner ord! Den er produsert i samarbeid av mange mennesker over hele internett, som bygger på hverandres ideer, ord og skrivestiler, og produserer en hel fiktiv verden.

Geoff kom tilfeldigvis over visse ord og uttrykk som utløste ChatGPT til å produsere tokens fra denne delen av opplæringsdistribusjonen. Og tokenene den produserte utløste Geoff i sin tur. Det er ikke tilfeldig, den samarbeidsproduserte fanficen er ment å være overbevisende!

Dette skapte en selvforsterkende tilbakemeldingssløyfe. Jo flere tokener i distribusjonen ChatGPT fikk i chat-historikken, jo sterkere ble den auto-regressive modellen presset til å forbli i den distribusjonen. ChatGPT-minne gjorde dette enda verre, og lot det skje på tvers av chatter.

Psykiatere har advart om potensialet for chatbots til å utløse psykose i noen år.

Jeg er ikke sikker på den beste måten å motvirke dette på. Kanskje tjenester kan bruke overvåkingslaget som nesten alle bruker til å se etter brudd på opphavsretten, systemspørsmål osv., for også å se etter tegn på at en bruker kan ta et rollespill for seriøst, og la dem vite at de bare spiller?