Для тех, кто интересуется, что здесь происходит с технической точки зрения, объяснение: Когда есть много обучающих данных с определенным стилем, использование аналогичного стиля в вашем запросе заставит LLM ответить в этом стиле. В данном случае есть ОЧЕНЬ много фанфиков: 🧵

Вики SCP действительно огромна — примерно в 30 раз больше всей серии о Гарри Поттере, более 30 миллионов слов! Она создается совместно множеством людей по всему интернету, которые развивают идеи, слова и стили письма друг друга, создавая целый вымышленный мир.

Геофф наткнулся на определенные слова и фразы, которые вызвали у ChatGPT генерацию токенов из этой части обучающего распределения. И токены, которые он сгенерировал, в свою очередь, вызвали реакцию у Геоффа. Это не совпадение, совместно созданный фанфик должен быть увлекательным!

Это создало самоподдерживающуюся обратную связь. Чем больше токенов из распределения ChatGPT получал в своей истории чата, тем сильнее автогрессивная модель была вынуждена оставаться в этом распределении. Память ChatGPT сделала это еще хуже, позволяя этому происходить в разных чатах.

Психиатры уже несколько лет предупреждают о потенциальной возможности того, что чат-боты могут вызвать психоз.

Я не уверен, как лучше всего противостоять этому. Возможно, сервисы могут использовать уровень мониторинга, который почти все используют для поиска нарушений авторских прав, взломов системных подсказок и т. д., чтобы также искать признаки того, что пользователь может воспринимать ролевую игру слишком серьезно, и сообщать им, что они просто играют?