A Superinteligência Artificial parece uma tecnologia que devemos desbloquear em 200-300 anos. Como espécie, absolutamente não estamos prontos para isso. Isso parece como dar a um camponês medieval acesso a urânio de grau bélico. A Matemática e os algoritmos por trás do aprendizado por reforço não são incrivelmente difíceis de entender, o que significa que qualquer civilização que tenha descoberto álgebra matricial, teoria das probabilidades e cálculo poderia alcançar isso com computação. O que aprendemos é que o que chamamos de inteligência é independente do substrato e pode ser escalado dramaticamente com computação. Os limites superiores disso absolutamente ninguém sabe. Acho que George Hotz estava na linha certa quando disse que precisa haver um novo campo inteiro de investigação científica que tenha poder preditivo sobre a capacidade de um modelo e previsões sobre quaisquer limites superiores do que chamamos de inteligência, se é que eles existem. A ASI destruirá quaisquer noções que temos da sociedade moderna atual. Nosso mundo nos anos 2100 olhará para nós como se fôssemos homens primitivos. Curvas exponenciais significam que a cada ano o progresso se comprime, alcançando em 1 ano o que levaria de 10 a 100 anos. O cérebro humano não foi construído para lidar com este ambiente.