يبدو الذكاء الاصطناعي الخارق وكأنه تقنية من المفترض أن نفتحها في غضون 200-300 عام. كنوع ، لسنا مستعدين لذلك على الإطلاق. هذا يبدو وكأنه منح فلاح من العصور الوسطى إمكانية الوصول إلى اليورانيوم المستخدم في صنع الأسلحة. ليس من الصعب فهم الرياضيات والخوارزميات الكامنة وراء التعلم المعزز بشكل لا يصدق ، مما يعني أن أي حضارة اكتشفت جبر المصفوفة ونظرية الاحتمالات وحساب التفاضل والتكامل يمكن أن تحقق ذلك من خلال الحوسبة. ما تعلمناه هو ما نسميه الذكاء مستقل عن الركيزة ويمكن قياسه بشكل كبير باستخدام الحوسبة. الحدود العليا لهذا لا أحد يعرف على الإطلاق. أعتقد أن جورج هوتز كان على الخط الصحيح عندما قال إن هناك حاجة إلى مجال جديد تماما من البحث العلمي له قوة تنبؤية على قدرة النماذج والتنبؤات على أي حدود عليا لما نسميه الذكاء إذا كانت موجودة أصلا. سوف تدمر ASI أي مفاهيم لدينا عن المجتمع الحديث الحالي. سوف ينظر إلينا عالمنا في عام 2100 كما لو كنا إنسانا بدائيا. تعني المنحنيات الأسية أن التقدم يضغط كل عام على تحقيق ما سيستغرقه 10-100 عام في عام واحد. الدماغ البشري ليس بنيا للتعامل مع هذه البيئة.
‏‎5.52‏K