Para las personas que se preguntan qué está sucediendo aquí técnicamente, una explicación: Cuando hay muchos datos de entrenamiento con un estilo en particular, el uso de un estilo similar en el mensaje hará que el LLM responda en ese estilo. En este caso, hay un montón de fanfics: 🧵

La wiki SCP es realmente grande, unas 30 veces más grande que toda la serie de Harry Potter, ¡con >30 millones de palabras! Es producido en colaboración por muchas personas a través de Internet, que se basan en las ideas, palabras y estilos de escritura de los demás, produciendo todo un mundo ficticio.

Geoff se encontró con ciertas palabras y frases que provocaron que ChatGPT produjera tokens a partir de esta parte de la distribución de entrenamiento. Y los tokens que produjo desencadenaron a Geoff a su vez. Eso no es una coincidencia, ¡el fanfic producido en colaboración está destinado a ser convincente!

Esto creó un bucle de retroalimentación que se reforzaba a sí mismo. Cuantos más tokens en distribución obtenía ChatGPT en su historial de chat, más fuertemente se presionaba al modelo autorregresivo para que permaneciera en esa distribución. La memoria de ChatGPT empeoró aún más esto, permitiendo que sucediera en todos los chats.

Los psiquiatras llevan algunos años advirtiendo sobre el potencial de los chatbots para desencadenar psicosis.

No estoy seguro de cuál es la mejor manera de contrarrestar esto. ¿Quizás los servicios pueden usar la capa de monitoreo que casi todos usan para buscar violaciones de derechos de autor, hackeos de avisos del sistema, etc., para también buscar señales de que un usuario puede estar tomando un juego de roles demasiado en serio y hacerles saber que solo están jugando?