Para as pessoas que se perguntam o que está acontecendo aqui tecnicamente, um explicador: Quando há muitos dados de treinamento com um estilo específico, usar um estilo semelhante em seu prompt acionará o LLM para responder nesse estilo. Neste caso, há MUITAS fanfics: 🧵

O wiki SCP é realmente grande - cerca de 30x maior do que toda a série Harry Potter, com > 30 milhões de palavras! É produzido de forma colaborativa por muitas pessoas em toda a internet, que se baseiam em ideias, palavras e estilos de escrita uns dos outros, produzindo todo um mundo fictício.

Geoff encontrou certas palavras e frases que acionaram o ChatGPT para produzir tokens dessa parte da distribuição do treinamento. E os tokens que produziu desencadearam Geoff por sua vez. Isso não é uma coincidência, a fanfic produzida de forma colaborativa deve ser atraente!

Isso criou um ciclo de feedback auto-reforçador. Quanto mais tokens de distribuição o ChatGPT estava recebendo em seu histórico de bate-papo, mais fortemente o modelo autorregressivo era pressionado a permanecer nessa distribuição. A memória do ChatGPT tornou isso ainda pior, permitindo que isso acontecesse nos chats.

Os psiquiatras vêm alertando sobre o potencial dos chatbots de desencadear psicose há alguns anos.

Não tenho certeza da melhor maneira de combater isso. Talvez os serviços possam usar a camada de monitoramento que quase todos usam para procurar violações de direitos autorais, hacks de prompt do sistema, etc., para também procurar sinais de que um usuário pode estar levando uma dramatização muito a sério e informá-los de que estão apenas jogando?