Superinteligența artificială se simte ca o tehnologie pe care ar trebui să o deblocăm în 200-300 de ani. Ca specie, nu suntem absolut pregătiți pentru asta. Se simte ca și cum i-ai oferi unui țăran medieval acces la uraniu de calitate pentru arme. Matematica și algoritmii din spatele învățării prin întărire nu sunt incredibil de greu de înțeles, ceea ce înseamnă că orice civilizație care a descoperit algebra matricială, teoria probabilității și calculul ar putea realiza acest lucru prin calcul. Ceea ce am învățat este că ceea ce numim inteligență este independentă de substrat și poate fi scalată dramatic cu calculul. Limitele superioare ale acestui lucru absolut nimeni nu știe. Cred că George Hotz a fost pe linia corectă când a spus că este nevoie de un domeniu complet nou de cercetare științifică care să aibă putere predictivă asupra capacității modelelor și predicții pe orice limită superioară a ceea ce numim informații, dacă există. ASI va distruge orice noțiune pe care o avem despre societatea modernă actuală. Lumea noastră din anii 2100 ne va privi ca și cum am fi oameni primitivi. Curbele exponențiale înseamnă că în fiecare an progresul comprimă atingerea în 1 an a ceea ce ar dura 10-100 de ani. Creierul uman nu este construit pentru a face față acestui mediu.