Штучний суперінтелект – це технологія, яку ми маємо розблокувати через 200-300 років. Як вид, ми абсолютно до цього не готові. Це схоже на те, щоб дати середньовічному селянину доступ до збройового урану. Математика та алгоритми, що лежать в основі навчання з підкріпленням, не є надзвичайно складними для розуміння, а це означає, що будь-яка цивілізація, яка відкрила матричну алгебру, теорію ймовірностей та числення, може досягти цього за допомогою обчислень. Те, що ми дізналися, це те, що ми називаємо інтелектом, не залежить від субстрату і може бути значно масштабоване за допомогою обчислень. Верхніх меж цього абсолютно ніхто не знає. Я думаю, що Джордж Хотц був на правильній лінії, коли сказав, що потрібна ціла нова область наукових досліджень, яка має прогностичну силу на можливості моделювання та прогнозування на будь-яких верхніх межах того, що ми називаємо інтелектом, якщо вони взагалі існують. ASI зруйнує будь-які уявлення, які ми маємо про сучасне суспільство. Наш світ у 2100-х роках буде дивитися на нас так, ніби ми первісна людина. Експоненціальні криві означають, що з кожним роком прогрес стискається, досягаючи за 1 рік того, що знадобилося б 10-100 років. Людський мозок не створений для того, щоб справлятися з цим середовищем.