A Superinteligência Artificial parece uma tecnologia que devemos desbloquear em 200-300 anos. Como espécie, não estamos absolutamente prontos para isso. Isso é como dar a um camponês medieval acesso a urânio para armas. A matemática e os algoritmos por trás do aprendizado por reforço não são incrivelmente difíceis de entender, o que significa que qualquer civilização que tenha descoberto álgebra matricial, teoria da probabilidade e cálculo poderia conseguir isso com computação. O que aprendemos é que o que chamamos de inteligência é independente do substrato e pode ser dimensionado drasticamente com a computação. Os limites superiores disso absolutamente ninguém sabe. Acho que George Hotz estava na linha certa quando disse que é necessário um novo campo de investigação científica que tenha poder preditivo sobre a capacidade de um modelo e previsões sobre quaisquer limites superiores ao que chamamos de inteligência, se é que eles existem. A ASI destruirá quaisquer noções que tenhamos da sociedade moderna atual. Nosso mundo nos anos 2100 olhará para nós como se fôssemos um homem primitivo. Curvas exponenciais significam que o progresso de cada ano comprime a realização em 1 ano do que levaria de 10 a 100 anos. O cérebro humano não foi construído para lidar com esse ambiente.