Я беспокоюсь, что столь много обсуждений рисков ИИ и согласования игнорируют довольно крупного слона в комнате: креативность и открытость. Политики и хранители должны понимать две конкурирующие силы, о которых никто, похоже, не говорит: (1) существует огромный экономический стимул для передовых лабораторий увеличивать креативность своих моделей, и (2) чем больше вы пытаетесь контролировать и ограничивать поведение модели (или даже человека!), тем менее креативной она будет. Напряжение между этими конкурирующими силами в конечном итоге благоприятствует #1, потому что креативность имеет такой огромный экономический потенциал. Это означает, что методы контроля и ограничения моделей (например, путем их согласования) сталкиваются с мощными надвигающимися противодействиями. Поскольку креативность в конечном итоге победит на экономических основаниях (и действительно, у нас есть огромные преимущества от креативного ИИ), мы должны меньше смотреть на методы "контроля разума", чтобы заставить модели думать так, как мы хотим (поскольку мы неизбежно откажемся от этого), и больше на то, как институциональные силы использовались для того, чтобы удерживать людей в согласии в поведении, даже несмотря на то, что мы свободны думать так безумно, как хотим. Это институциональные проверки и балансы - законы, структуры стимулов общества, конкурирующие ветви власти и управления, использование некоторых людей для обеспечения надзора над другими в различных ситуациях, необходимость согласия, одобрения или сотрудничества для достижения целей - которые обеспечивают настоящие рамки против катастрофы среди людей. Очевидно, что система несовершенна, но это прецедент для того, как позволить достаточной креативности стремиться к радикальным инновациям, но при этом иметь достаточно порядка, чтобы цивилизация могла существовать или даже процветать. Если мы не будем серьезно относиться к этому прецеденту, рамки согласования будут все больше (и тихо) ослабляться, поскольку экономические плоды неограниченной фантазии становятся все более ясными.