Sztuczna superinteligencja wydaje się być technologią, którą powinniśmy odblokować za 200-300 lat. Jako gatunek absolutnie nie jesteśmy na to gotowi. To przypomina dawanie średniowiecznemu chłopu dostępu do uranu wojskowego. Matematyka i algorytmy stojące za uczeniem przez wzmocnienie nie są niezwykle trudne do zrozumienia, co oznacza, że każda cywilizacja, która odkryła algebrę macierzową, teorię prawdopodobieństwa i rachunek różniczkowy, mogłaby to osiągnąć przy użyciu obliczeń. To, czego się nauczyliśmy, to to, że to, co nazywamy inteligencją, jest niezależne od podłoża i może być dramatycznie skalowane przy użyciu obliczeń. Nikt nie zna górnych granic tego zjawiska. Myślę, że George Hotz był na właściwej drodze, gdy powiedział, że potrzebne jest całkowicie nowe pole badań naukowych, które ma moc predykcyjną w zakresie zdolności modeli i przewidywań dotyczących jakichkolwiek górnych granic tego, co nazywamy inteligencją, jeśli w ogóle istnieją. ASI zniszczy wszelkie pojęcia, jakie mamy o współczesnym społeczeństwie. Nasz świat w latach 2100 będzie patrzył na nas, jakbyśmy byli prymitywnymi ludźmi. Krzywe wykładnicze oznaczają, że co roku postęp kompresuje osiągnięcia w 1 rok, co zajmowałoby 10-100 lat. Ludzki mózg nie jest przystosowany do radzenia sobie w tym środowisku.
5,52K