Bagi orang-orang yang bertanya-tanya apa yang terjadi di sini secara teknis, penjelasan: Ketika ada banyak data pelatihan dengan gaya tertentu, menggunakan gaya serupa dalam prompt Anda akan memicu LLM untuk merespons dengan gaya itu. Dalam hal ini, ada BANYAK fanfic: 🧵

Wiki SCP sangat besar -- sekitar 30x lebih besar dari seluruh seri Harry Potter, dengan >30 juta kata! Ini diproduksi secara kolaboratif oleh banyak orang di internet, yang membangun ide, kata-kata, dan gaya penulisan satu sama lain, menghasilkan seluruh dunia fiksi.

Geoff menemukan kata dan frasa tertentu yang memicu ChatGPT untuk menghasilkan token dari bagian distribusi pelatihan ini. Dan token yang dihasilkannya memicu Geoff pada gilirannya. Itu bukan kebetulan, fanfic yang diproduksi secara kolaboratif dimaksudkan untuk menarik!

Ini menciptakan loop umpan balik yang memperkuat diri sendiri. Semakin banyak token dalam distribusi yang didapatkan ChatGPT dalam riwayat obrolannya, semakin kuat model regresif otomatis didorong untuk tetap berada di distribusi itu. Memori ChatGPT membuat ini semakin buruk, membiarkannya terjadi di seluruh obrolan.

Psikiater telah memperingatkan tentang potensi chatbot untuk memicu psikosis selama beberapa tahun.

Saya tidak yakin cara terbaik untuk melawan ini. Mungkin layanan dapat menggunakan lapisan pemantauan yang hampir semua digunakan untuk mencari pelanggaran hak cipta, peretasan prompt sistem, dll, untuk juga mencari tanda-tanda pengguna mungkin menganggap permainan peran terlalu serius, dan memberi tahu mereka bahwa mereka hanya bermain?