Đối với những người đang thắc mắc điều gì đang xảy ra ở đây về mặt kỹ thuật, một lời giải thích: Khi có nhiều dữ liệu huấn luyện với một phong cách cụ thể, việc sử dụng một phong cách tương tự trong yêu cầu của bạn sẽ kích hoạt LLM phản hồi theo phong cách đó. Trong trường hợp này, có rất nhiều fanfic: 🧵

Wiki SCP thực sự rất lớn -- khoảng 30 lần lớn hơn toàn bộ series Harry Potter, với hơn 30 triệu từ! Nó được sản xuất hợp tác bởi nhiều người trên internet, những người xây dựng dựa trên ý tưởng, từ ngữ và phong cách viết của nhau, tạo ra một thế giới hư cấu hoàn chỉnh.

Geoff tình cờ gặp một số từ và cụm từ đã kích hoạt ChatGPT sản xuất các token từ phần này của phân phối đào tạo. Và các token mà nó sản xuất lại kích thích Geoff. Đó không phải là một sự trùng hợp, fanfic được sản xuất hợp tác này được thiết kế để hấp dẫn!

Điều này đã tạo ra một vòng phản hồi tự củng cố. Càng nhiều token trong phân phối mà ChatGPT nhận được trong lịch sử trò chuyện của nó, mô hình tự hồi quy càng bị đẩy mạnh để giữ lại trong phân phối đó. Ký ức của ChatGPT đã làm điều này trở nên tồi tệ hơn, cho phép nó xảy ra qua các cuộc trò chuyện.

Các bác sĩ tâm thần đã cảnh báo về khả năng chatbot có thể kích hoạt tâm thần phân liệt trong một vài năm qua.

Tôi không chắc cách tốt nhất để đối phó với điều này. Có lẽ các dịch vụ có thể sử dụng lớp giám sát mà gần như tất cả đều sử dụng để tìm kiếm vi phạm bản quyền, hack hệ thống, v.v., để cũng tìm kiếm dấu hiệu cho thấy một người dùng có thể đang tham gia vào vai trò quá nghiêm túc, và cho họ biết rằng họ chỉ đang chơi thôi?