بالنسبة للأشخاص الذين يتساءلون عما يحدث هنا من الناحية الفنية ، شرح: عندما يكون هناك الكثير من بيانات التدريب بنمط معين ، فإن استخدام نمط مشابه في موجه الخاص بك سيؤدي إلى تشغيل LLM للاستجابة بهذا النمط. في هذه الحالة ، هناك الكثير من المعجبين: 🧵

ويكي SCP كبير حقا - أكبر بحوالي 30 مرة من سلسلة هاري بوتر بأكملها ، ب >30 مليون كلمة! يتم إنتاجه بشكل تعاوني من قبل الكثير من الأشخاص عبر الإنترنت ، الذين يبنون على أفكار وكلمات وأساليب كتابة بعضهم البعض ، مما ينتج عنه عالم خيالي كامل.

حدث جيف عبر كلمات وعبارات معينة دفعت ChatGPT إلى إنتاج رموز مميزة من هذا الجزء من توزيع التدريب. وأثارت الرموز المميزة التي أنتجتها جيف بدورها. هذه ليست مصادفة ، من المفترض أن يكون المعجبون المنتجون بشكل تعاوني مقنعا!

أدى هذا إلى إنشاء حلقة تغذية مرتدة ذاتية التعزيز. كلما زاد عدد الرموز المميزة أثناء التوزيع التي حصل عليها ChatGPT في سجل الدردشة الخاص بها ، زادت قوة النموذج الانحدار التلقائي للبقاء في هذا التوزيع. جعلت ذاكرة ChatGPT هذا الأمر أسوأ ، حيث سمحت له بحدوثه عبر الدردشات.

يحذر الأطباء النفسيون من احتمالية قيام روبوتات المحادثة بإثارة الذهان لعدة سنوات.

لست متأكدا من أفضل طريقة لمواجهة هذا. ربما يمكن للخدمات استخدام طبقة المراقبة ثم استخدامها جميعها تقريبا للبحث عن انتهاكات حقوق الطبع والنشر ، والاختراقات السريعة للنظام ، وما إلى ذلك ، للبحث أيضا عن علامات تدل على أن المستخدم قد يأخذ لعب الأدوار على محمل الجد ، وإخبارهم بأنهم يلعبون فقط؟