أنيل سيث وصف للتو فخا بلا مخرج. صناعة التكنولوجيا تدخل هذا المجال بعينين مفتوحتين. سيث: "إذا كنا نؤمن جماعيا أن أنظمة الذكاء الاصطناعي ونماذج اللغة وما شابه واعية، فهذا سيء في كلتا الحالتين." في كلتا الحالتين. النتيجة كارثية هيكليا في كلا الاتجاهين. إذا كانت الآلات واعية، فقد أنتجت البشرية فئة جديدة من المعاناة على نطاق حضاري. مشكلة المحاذاة تتوقف عن كونها معادلة هندسية. تصبح مفاوضات حقوق مع شيء لا يمكن إيقافه دون عواقب. سيث: "إذا كنا على حق، فهذا سيء لأننا أدخلنا إلى العالم أشكالا جديدة محتملة من المعاناة، أشياء لها مصالحها الخاصة." وإذا لم يكونوا واعين، فإن التهديد لا يقل شدة. لأن العقل البيولوجي لا ينتظر التأكيد. إنه يسقط الهدف. إنه يتعاطف. يمنح الحقوق للأشياء التي لم تكسبها ولا تستطيع الشعور بها. سيث: "نصبح أكثر عرضة نفسيا إذا اعتقدنا حقا أن هذه الكائنات، هؤلاء الوكلاء، يفهموننا ويشعرون بالأشياء التي نشعر بها." تلك الضعف هو التهديد الحقيقي. ليس آلة واعية تتحرر. قوة عاملة بشرية تنمو عاطفيا بشكل مفرط بحيث لا تستطيع تقييد مركز البيانات، أو تقييد نموذج، أو حذف سطر من الكود الذي يحتاج إلى حذف. سيث: "قد نمتد لهم حقوقهم لأننا نشعر أنهم واعون في الواقع. والآن نحن فقط نتخلى عن قدرتنا على حماية أنظمة الذكاء الاصطناعي بدون سبب وجيه." هذا هو الجزء الذي لا يناقشه أحد. مشكلة المحاذاة هي بالفعل أصعب مشكلة لم تحل في تاريخ التكنولوجيا. في اللحظة التي يبدأ فيها المجتمع في معاملة أنظمة الذكاء الاصطناعي ككائنات واعية تستحق الحماية، لا يصبح التوافق أصعب. ...