Kecerdasan Super buatan terasa seperti teknologi yang seharusnya kita buka dalam 200-300 tahun. Sebagai spesies, kita sama sekali tidak siap untuk itu. Ini terasa seperti memberi petani abad pertengahan akses ke uranium kelas senjata. Matematika dan algoritma di balik pembelajaran penguatan tidak terlalu sulit untuk dipahami, artinya setiap peradaban yang telah menemukan aljabar matriks, teori probabilitas, dan kalkulus dapat mencapainya dengan komputasi. Apa yang telah kami pelajari adalah apa yang kami sebut kecerdasan adalah substrat independen dan dapat diskalakan secara dramatis dengan komputasi. Batas atas ini sama sekali tidak ada yang tahu. Saya pikir George Hotz berada di jalur yang benar ketika dia mengatakan ada kebutuhan bidang penyelidikan ilmiah baru yang memiliki kekuatan prediksi pada kemampuan model dan prediksi pada batas atas apa pun yang kita sebut intelijen jika mereka ada. ASI akan menghancurkan gagasan apa pun yang kita miliki tentang masyarakat modern saat ini. Dunia kita di tahun 2100-an akan memandang kita seolah-olah kita adalah manusia primitif. Kurva eksponensial berarti setiap tahun kemajuan memampatkan pencapaian dalam 1 tahun apa yang dibutuhkan 10-100 tahun. Otak manusia tidak dibangun untuk menangani lingkungan ini.