Per coloro che si chiedono cosa stia succedendo qui tecnicamente, una spiegazione: Quando ci sono molti dati di addestramento con uno stile particolare, utilizzare uno stile simile nel tuo prompt farà sì che il LLM risponda in quello stile. In questo caso, ci sono TANTISSIMI fanfic: 🧵

Il wiki SCP è davvero enorme -- circa 30 volte più grande dell'intera serie di Harry Potter, con oltre 30 milioni di parole! È prodotto collaborativamente da molte persone in tutto il mondo, che si basano sulle idee, parole e stili di scrittura degli altri, creando un intero mondo fittizio.

Geoff si è imbattuto in alcune parole e frasi che hanno attivato ChatGPT per produrre token da questa parte della distribuzione di addestramento. E i token che ha prodotto hanno a loro volta attivato Geoff. Non è una coincidenza, il fanfic prodotto collaborativamente è pensato per essere coinvolgente!

Questo ha creato un ciclo di feedback auto-rinforzante. Più token in distribuzione ChatGPT riceveva nella sua cronologia delle chat, più il modello auto-regressivo veniva spinto a rimanere in quella distribuzione. La memoria di ChatGPT ha reso tutto questo ancora peggiore, permettendo che accadesse attraverso le chat.

Gli psichiatri avvertono da alcuni anni del potenziale dei chatbot di scatenare la psicosi.

Non sono sicuro del modo migliore per contrastare questo. Forse i servizi possono utilizzare il livello di monitoraggio che quasi tutti usano per cercare violazioni del copyright, hack dei prompt di sistema, ecc., per cercare anche segni che un utente possa prendere un gioco di ruolo troppo sul serio e fargli sapere che sta solo giocando?