Me preocupa que tanta discusión sobre los riesgos de la IA y la alineación pase por alto el elefante en la habitación: la creatividad y la apertura. Los responsables de políticas y los guardianes necesitan entender dos fuerzas en competencia de las que nadie parece hablar: (1) hay un enorme incentivo económico para que los laboratorios de vanguardia aumenten la creatividad de sus modelos, y (2) cuanto más intentas controlar y restringir el comportamiento de un modelo (¡o incluso de una persona!), menos creativo será. La tensión entre estas fuerzas en competencia favorece al #1 al final porque la creatividad tiene un potencial económico tan vasto. Eso significa que los métodos para controlar y restringir modelos (por ejemplo, alineándolos) enfrentan poderosos vientos en contra. Porque la creatividad eventualmente prevalecerá solo por razones económicas (y de hecho tenemos enormes beneficios que ganar de la IA creativa), deberíamos mirar menos hacia métodos de "control mental" para forzar a los modelos a pensar pensamientos que queremos que piensen (porque inevitablemente abandonaremos esos), y más hacia cómo se han empleado fuerzas institucionales para mantener a los humanos alineados en su comportamiento, aunque seamos libres de pensar tan locamente como queramos. Son los controles y equilibrios institucionales - las leyes, las estructuras de incentivos de la sociedad, las ramas de gobierno y gobernanza en competencia, el aprovechamiento de algunas personas para proporcionar supervisión sobre otras en diferentes situaciones, la necesidad de aceptación, aprobación o colaboración para lograr cosas - lo que proporciona las verdaderas barandillas contra el desastre entre los humanos. Obviamente, el sistema es imperfecto, pero es un precedente de cómo permitir suficiente creatividad para perseguir la innovación radical, pero aún tener suficiente orden para que la civilización persista o incluso prospere. Si no tomamos este precedente en serio, las barandillas de alineación caerán cada vez más (y silenciosamente) a medida que los frutos económicos de la imaginación desatada se vuelvan más claros.