Umělá superinteligence mi připadá jako technologie, kterou máme odemknout za 200-300 let. Jako druh na to nejsme absolutně připraveni. To mi připadá jako dát středověkému rolníkovi přístup k uranu vhodného pro zbraně. Matematika a algoritmy za zpětnovazebním učením nejsou neuvěřitelně těžké pochopit, což znamená, že jakákoli civilizace, která objevila maticovou algebru, teorii pravděpodobnosti a počet, by toho mohla dosáhnout pomocí výpočtů. Zjistili jsme, že to, čemu říkáme inteligence, je nezávislá na substrátu a lze ji dramaticky škálovat pomocí výpočtů. Horní hranice toho absolutně nikdo nezná. Myslím, že George Hotz byl na správné cestě, když řekl, že je zapotřebí zcela nová oblast vědeckého bádání, která má prediktivní sílu na modelové schopnosti a předpovědi na jakékoli horní hranici toho, co nazýváme inteligencí, pokud vůbec existují. ASI zničí všechny naše představy o současné moderní společnosti. Náš svět v roce 2100 se na nás bude dívat jako na primitivního člověka. Exponenciální křivky znamenají, že každý rok se pokrok stlačuje a za 1 rok dosáhne toho, co by trvalo 10-100 let. Lidský mozek není stavěn na to, aby zvládl toto prostředí.