Для людей, які задаються питанням, що тут відбувається з технічної точки зору, пояснює: Коли є багато даних про тренування з певним стилем, використання подібного стилю у вашому запиті змусить LLM відповісти в цьому стилі. У цьому випадку є КУПА фанфіків: 🧵

Вікі SCP дійсно велика - приблизно в 30 разів більша, ніж вся серія про Гаррі Поттера, >30 мільйонів слів! Його спільно створюють багато людей в Інтернеті, які спираються один на одного ідеї, слова та стилі письма, створюючи цілий вигаданий світ.

Джефф натрапив на певні слова та фрази, які спонукали ChatGPT виробляти токени з цієї частини розподілу тренувань. А токени, які він виробляв, у свою чергу запустили Джеффа. Це не випадковість, спільна робота фанфіка має бути переконливою!

Це створило самопідсилювальну петлю зворотного зв'язку. Чим більше токенів ChatGPT отримував у своїй історії чату, тим сильніше авторегресивна модель була підштовхнута до того, щоб залишитися в цьому розподілі. Пам'ять ChatGPT ще більше погіршила це, дозволивши цьому відбуватися в чатах.

Психіатри вже кілька років попереджають про те, що чат-боти можуть спровокувати психоз.

Я не впевнений, як краще цьому протистояти. Можливо, сервіси можуть використовувати рівень моніторингу, а потім майже всі для пошуку порушень авторських прав, хакерських атак системних підказок тощо, щоб також шукати ознаки того, що користувач може занадто серйозно ставитися до рольової гри, і повідомляти їм, що вони просто грають?