Если ИИ будет развиваться быстро, это усугубит ситуацию, но именно это не является центральной проблемой ASI. Если ваш город планирует поработить ультраумных драконов, чтобы они вспахивали поля и жарили кофе, некоторые проблемы становятся *хуже*, если драконы быстро взрослеют. Но основная проблема не в том: "О нет! Что если огромные огнедышащие монстры, которые могут уничтожить наш город одним ужасным дыханием, и которые также по отдельности гораздо умнее всего нашего города вместе взятого, когда повзрослеют будут мыслить с такой скоростью, что любой человек будет казаться им медленно движущейся статуей, *взрослеют быстро*? Разве эта скорость созревания не создаст проблему?" Если вы представите, что внезапно оказались в городе, полном зрелых драконов, эта неравновесная ситуация быстро станет катастрофической. Она станет катастрофической, даже если вы думали, что у вас есть какой-то хитрый план по контролю над этими драконами, например, предоставив им правовую систему, которая говорит, что у людей есть права собственности, так что ни одна драконья коалиция не осмелится предложить альтернативную правовую систему из-за страха, что их собственные права будут аннулированы. (На самом деле, это не тот абсурдный план, который я часто слышу.) Даже если вы планируете хитро играть драконами друг против друга, так что ни один дракон не осмелится дышать огнем из-за страха перед другими драконами — когда драконы полностью повзрослеют и будут значительно умнее вас, они все посмотрят друг на друга, кивнут и затем сожгут вас. На самом деле, проект по выращиванию драконов становится катастрофическим *раньше*. Но эта часть зависит от траектории, и поэтому ее сложнее предсказать заранее в деталях. То, что ситуация станет мрачной в *какой-то* момент, видно, если визуализировать конечный результат, если драконы *не* восстанут раньше, и осознать, что это не хорошая ситуация. Чтобы быть уверенным, если драконы взрослеют очень быстро, это *даже* хуже. Это превращает неразрешимую сложную проблему в еще более неразрешимую сложную проблему. Но скорость, с которой драконы созревают, не является центральной проблемой в планировании выращивания и порабощения драконов для вспахивания ваших полей и жарки вашего кофе. Дело в том, что, независимо от того, вырастите ли вы одного дракона или много, у вас нет дракона; драконы имеют вас.

В: Как вы обновили свою теорию гравитации в свете шокирующего современного развития воздушных шаров? О: Хотя я не предсказывал, что воздушные шары будут развиваться так, как они развивались, ничего в них не противоречит теории гравитации. В: Я поражен, что вы отказываетесь обновить свои знания о шокирующих новостях о воздушных шарах, которые противоречат всему, что мы ранее думали о "вещах, падающих вниз", как о законе вселенной! О: Да, ну... Я не могу действительно понять, как это сформулировать ненасмешливо, но разные люди могут по-разному справляться с манипуляцией идеями на более высоких уровнях абстракции. В: Я еще больше шокирован тем, что вы вообще не пересмотрели свои предыдущие заявления о том, почему было бы трудно отправиться на Луну, и в частности, почему мы не могли бы просто нацелить гипотетическое космическое судно на положение Луны в небе, если бы его выстрелили из пушки в сторону Луны. Воздушные шары просто поднимаются вверх и следуют за ветром очень предсказуемым образом; они не показывают никаких трудностей с управлением, которые вы предсказывали. О: Космические аппараты, предсказуемо, не будут подчиняться всем тем же правилам, что и навигация воздушных шаров — по крайней мере, не на том уровне абстракции, на котором вы в данный момент можете продуктивно работать, думая о физических правилах. В: Ха! Как непрактично! Как вы вообще можете это знать? О: Точно так же, как я знал несколько десятилетий назад, что будет возможно подняться с земли, когда все говорили, что это потребует век, если это вообще когда-либо произойдет. Увы, чтобы понять, почему теория гравитации допускает различные формы воздушных и космических путешествий, потребуется дальнейшее изучение и объяснение, причем больше работы потребуется, чтобы объяснить это некоторым людям, чем другим. В: Если вы просто собираетесь оскорблять, я уйду. (Уходит в гневе.) В2: Так вы говорите, что было бы очень трудно управлять воздушными шарами к Луне, и в частности, что они не просто пойдут туда, куда мы укажем. Но что, если появится какая-то НОВАЯ технология, которая НЕ совсем похожа на современные воздушные шары? Разве это не опровергнет все ваши современные теории гравитации, которые касаются только воздушных шаров в частности? О: Нет. Ключевые идеи на самом деле предшествуют развитию воздушных шаров в частности для путешествий на высоте выше уровня земли. Они действуют на более высоком уровне абстракции. Они выживут даже после того, что более поверхностный взгляд может считать шокирующим свержением всех предыдущих идей о том, как подняться высоко над землей, благодаря какому-то совершенно неожиданному новому парадигме космических путешествий. В: Это просто потому, что этот парень совершенно не способен изменить свое мнение ни о чем. Он выбирает мелодию и придерживается ее. О: Я изменил свое мнение по нескольким вопросам — но не, в последние пару десятилетий, по теории гравитации. В общем, я меняю свое мнение пропорционально тому, насколько что-то меня удивляет. В: Вы ожидали, что космические аппараты будут работать, выстреливая из пушек! Воздушные шары совершенно не похожи на это, удивляя вас, и тем не менее вы вообще не изменили свое мнение о гравитации! О: Прежде всего, вы путаете анализ идеальных сфер в вакууме с тем, что я на самом деле ожидал. Во-вторых, последний десятилетие на самом деле изменило мое мнение о том, куда движется воздушное путешествие в ближайшей перспективе, но не о том, можно ли добраться до Луны, нацелив космическое судно прямо на Луну. Возможно быть удивленным на одном уровне в окружающей теории, не будучи удивленным на более глубоком уровне в основной теории. Это тот вид отношений, который существует между предположением "Может быть, путь вперед в воздушных путешествиях — это что-то вроде мощных наземных запусков", которое было удивлено и опровергнуто воздушными шарами, и теорией "Гравитация работает за счет взаимного притяжения масс", которая не была удивлена и не была опровергнута. В: Шары имеют массу, но они поднимаются ВВЕРХ, а не ВНИЗ. Они НИЧЕГО НЕ ПОДОБНЫ массивным телам в пустоте, притягивающим другие массивные вещи. О: Я не знаю, что я могу полезно сказать вам об этом, пока вы не начнете успешно манипулировать идеями на более высоком уровне абстракции, чем тот, который вы в данный момент пытаетесь использовать. В3: О чем все это аналогия, собственно? О: О том, было ли теорию принятия решений опровергнуто шокирующим открытием крупных языковых моделей; и о том, будут ли причины беспокоиться о том, что машинный суперинтеллект трудно согласовать, успешно под первым критическим нагрузкой, были бы все опровергнуты, если будущее AGI будет связано с чем-то *другим*, чем крупные языковые модели. Я не предсказывал появление LLM, и большинство людей тоже не предсказывали, и они были удивительными на нескольких важных уровнях — но не на тех уровнях, откуда исходят мрачные предсказания. Эти идеи предшествуют LLM, и никакое развитие за последнее десятилетие не опровергло эти конкретные идеи. Теория принятия решений относится к LLM так же, как закон гравитации относится к воздушным шарам. В3: Спасибо.

В: Как вы обновили свою теорию гравитации в свете шокирующего современного развития воздушных шаров? О: Хотя я не предсказывал, что воздушные шары будут развиваться так, как они развивались, ничего в них не противоречит теории гравитации. В: Я поражен, что вы отказываетесь обновить свои знания о шокирующих новостях о воздушных шарах, которые противоречат всему, что мы ранее думали о "вещах, падающих вниз", как о законе вселенной! О: Да, ну... Я не могу действительно понять, как это сформулировать ненасмешливо, но разные люди могут по-разному справляться с манипуляцией идеями на более высоких уровнях абстракции. В: Я еще больше шокирован тем, что вы вообще не пересмотрели свои предыдущие заявления о том, почему было бы трудно отправиться на Луну, и в частности, почему мы не могли бы просто нацелить гипотетическое космическое судно на положение Луны в небе, если бы оно было выстрелено из пушки в сторону Луны. Воздушные шары просто поднимаются вверх и следуют за ветром очень предсказуемым образом; они не показывают никаких трудностей с управлением, которые вы предсказывали. О: Космические аппараты, предсказуемо, не будут подчиняться всем тем же правилам, что и навигация воздушных шаров — по крайней мере, не на том уровне абстракции, на котором вы в данный момент можете продуктивно мыслить о физических правилах. В: Ха! Как непрактично! Как вы вообще можете это знать? О: Так же, как я знал несколько десятилетий назад, что будет возможно подняться с земли, когда все говорили, что это потребует век, если это вообще когда-либо произойдет. Увы, чтобы понять, почему теория гравитации допускает различные формы воздушных и космических путешествий, потребуется дальнейшее изучение и объяснение, причем больше работы потребуется, чтобы объяснить это некоторым людям, чем другим. В: Если вы просто собираетесь оскорблять, я уйду. (Уходит в гневе.) В2: Так вы говорите, что было бы очень трудно управлять воздушными шарами к Луне, и в частности, что они не просто пойдут туда, куда мы укажем. Но что если появится какая-то НОВАЯ технология, которая не совсем похожа на современные воздушные шары? Разве это не опровергло бы все ваши современные теории гравитации, которые касаются только воздушных шаров в частности? О: Нет. Ключевые идеи на самом деле предшествуют развитию воздушных шаров в частности для путешествий на высоте выше уровня земли. Они действуют на более высоком уровне абстракции. Они выживут даже после того, что более поверхностный взгляд может считать шокирующим свержением всех предыдущих идей о том, как подняться высоко над землей, благодаря какому-то совершенно неожиданному новому парадигме космических путешествий. В: Это просто потому, что этот парень совершенно не способен изменить свое мнение ни о чем. Он выбирает мелодию и придерживается ее. О: Я изменил свое мнение по нескольким вопросам — но не, в последние пару десятилетий, по теории гравитации. В общем, я меняю свое мнение пропорционально тому, насколько что-то меня удивляет. В: Вы ожидали, что космические аппараты будут работать, выстреливая из пушек! Воздушные шары совершенно не похожи на это, удивляя вас, и тем не менее вы не изменили своего мнения о гравитации вообще! О: Во-первых, вы путаете анализ идеальных сфер в вакууме с тем, что я на самом деле ожидал. Во-вторых, последний десяток лет действительно изменил мое мнение о том, куда движется воздушное путешествие в ближайшей перспективе, но не о том, можно ли добраться до Луны, нацелив космическое судно прямо на Луну. Возможно быть удивленным на одном уровне в окружающей теории, не будучи удивленным на более глубоком уровне в основной теории. Это тот вид отношений, который существует между предположением "Может быть, путь вперед в воздушных путешествиях — это что-то вроде мощных наземных запусков", которое было удивлено и опровергнуто воздушными шарами, и теорией "Гравитация работает за счет взаимного притяжения масс", которая не была удивлена и не была опровергнута. В: Шары имеют массу, но они поднимаются ВВЕРХ, а не ВНИЗ. Они НИЧЕГО НЕ ПОДОБНЫ массивным телам в пустоте, притягивающим другие массивные вещи. О: Я не знаю, что я могу полезно сказать вам об этом, пока вы не начнете успешно манипулировать идеями на более высоком уровне абстракции, чем вы в данный момент пытаетесь использовать. В3: О чем все это, собственно, аналогия? О: О том, было ли теорию принятия решений опровергнуто шокирующим открытием крупных языковых моделей; и о том, будут ли причины беспокоиться о том, что машинный суперинтеллект трудно согласовать, успешно под первым критическим нагрузкой, были бы все опровергнуты, если будущее AGI будет связано с чем-то *другим*, чем крупные языковые модели. Я не предсказывал появление LLM, и большинство людей тоже не предсказывали, и они были удивительны на нескольких важных уровнях — но не на тех уровнях, откуда исходят мрачные предсказания. Эти идеи предшествуют LLM, и никакое развитие за последнее десятилетие не опровергло эти конкретные идеи. В3: Спасибо.