Искусственный суперинтеллект кажется технологией, которую мы должны разблокировать через 200-300 лет. Как вид, мы абсолютно не готовы к этому. Это похоже на то, как если бы средневековому крестьянину дали доступ к урану оружейного класса. Математика и алгоритмы, стоящие за обучением с подкреплением, не являются невероятно сложными для понимания, что означает, что любая цивилизация, которая открыла для себя матричную алгебру, теорию вероятностей и математический анализ, могла бы достичь этого с помощью вычислений. То, что мы узнали, это то, что то, что мы называем интеллектом, независимо от субстрата и может быть значительно масштабировано с помощью вычислений. Никто не знает верхних границ этого. Я думаю, что Джордж Хотц был прав, когда сказал, что необходимо создать целую новую область научного исследования, которая имеет предсказательную силу относительно возможностей модели и предсказаний о любых верхних границах того, что мы называем интеллектом, если они вообще существуют. ASI разрушит любые представления, которые у нас есть о современном обществе. Наш мир в 2100-х годах будет смотреть на нас, как на примитивных людей. Экспоненциальные кривые означают, что каждый год прогресс сжимается, достигая за 1 год того, что потребовало бы 10-100 лет. Человеческий мозг не создан для того, чтобы справляться с этой средой.