Artificiell superintelligens känns som en teknologi som vi förväntas låsa upp om 200-300 år. Som art är vi absolut inte redo för det. Det känns som att ge en medeltida bonde tillgång till uran av vapenkvalitet. Matematiken och algoritmerna bakom reinforcement learning är inte otroligt svåra att förstå, vilket innebär att alla civilisationer som har upptäckt matrisalgebra, sannolikhetsteori och kalkyl skulle kunna uppnå detta med beräkning. Vad vi har lärt oss är att det vi kallar intelligens är substratoberoende och kan skalas dramatiskt med databehandling. De övre gränserna för detta är det absolut ingen som vet. Jag tror att George Hotz var inne på rätt spår när han sa att det behövs ett helt nytt fält av vetenskaplig forskning som har prediktiv kraft på en modells förmåga och förutsägelser på alla övre gränser för vad vi kallar intelligens, om de ens existerar. ASI kommer att förstöra alla föreställningar vi har om det nuvarande moderna samhället. Vår värld på 2100-talet kommer att se på oss som om vi vore primitiva människor. Exponentiella kurvor innebär att framstegen komprimeras varje år och uppnår vad det skulle ta 10-100 år på 1 år. Den mänskliga hjärnan är inte byggd för att hantera denna miljö.