La superinteligencia artificial se siente como una tecnología que se supone que desbloquearemos en 200-300 años. Como especie, no estamos preparados para ello. Esto se siente como darle a un campesino medieval acceso a uranio apto para armas. Las matemáticas y los algoritmos detrás del aprendizaje por refuerzo no son increíblemente difíciles de entender, lo que significa que cualquier civilización que haya descubierto el álgebra de matrices, la teoría de la probabilidad y el cálculo podría lograr esto con la computación. Lo que hemos aprendido es que lo que llamamos inteligencia es independiente del sustrato y se puede escalar drásticamente con la computación. Los límites superiores de esto absolutamente nadie lo sabe. Creo que George Hotz estaba en la línea correcta cuando dijo que se necesita un campo completamente nuevo de investigación científica que tenga poder predictivo sobre la capacidad de los modelos y predicciones sobre cualquier límite superior a lo que llamamos inteligencia, si es que existen. ASI destruirá cualquier noción que tengamos de la sociedad moderna actual. Nuestro mundo en los años 2100 nos mirará como si fuéramos un hombre primitivo. Las curvas exponenciales significan que cada año el progreso se comprime logrando en 1 año lo que tomaría de 10 a 100 años. El cerebro humano no está hecho para manejar este entorno.