L'Intelligence Artificielle Superintelligente semble être une technologie que nous sommes censés débloquer dans 200 à 300 ans. En tant qu'espèce, nous ne sommes absolument pas prêts pour cela. Cela ressemble à donner à un paysan médiéval un accès à de l'uranium de qualité militaire. Les mathématiques et les algorithmes derrière l'apprentissage par renforcement ne sont pas incroyablement difficiles à comprendre, ce qui signifie que toute civilisation ayant découvert l'algèbre matricielle, la théorie des probabilités et le calcul pourrait y parvenir avec des capacités de calcul. Ce que nous avons appris, c'est que ce que nous appelons l'intelligence est indépendant du substrat et peut être considérablement amplifié avec des capacités de calcul. Personne ne connaît les limites supérieures de cela. Je pense que George Hotz était sur la bonne voie quand il a dit qu'il fallait un tout nouveau domaine d'enquête scientifique qui ait un pouvoir prédictif sur la capacité des modèles et des prédictions sur d'éventuelles limites supérieures de ce que nous appelons l'intelligence, si elles existent même. L'ASI détruira toutes les notions que nous avons de la société moderne actuelle. Notre monde dans les années 2100 nous regardera comme si nous étions des hommes primitifs. Les courbes exponentielles signifient qu'à chaque année, le progrès se comprime, réalisant en 1 an ce qui prendrait 10 à 100 ans. Le cerveau humain n'est pas conçu pour gérer cet environnement.