Eu me preocupo que tanta discussão sobre riscos e alinhamento de IA ignore o elefante bastante grande na sala: criatividade e abertura. Os formuladores de políticas e guardiões precisam entender duas forças concorrentes sobre as quais ninguém parece falar: (1) há um enorme incentivo econômico para os laboratórios de fronteira aumentarem a criatividade de seus modelos e (2) quanto mais você tentar controlar e restringir o comportamento de um modelo (ou mesmo de uma pessoa!), menos criativo ele será. A tensão entre essas forças concorrentes favorece o # 1 no final, porque a criatividade tem um vasto potencial econômico. Isso significa que os métodos para controlar e restringir os modelos (por exemplo, alinhando-os) enfrentam poderosos ventos contrários iminentes. Como a criatividade acabará vencendo apenas por motivos econômicos (e, de fato, temos enormes benefícios a ganhar com a IA criativa), devemos olhar menos para métodos de "controle mental" para intimidar os modelos a pensar pensamentos que queremos que eles pensem (porque inevitavelmente os abandonaremos) e mais para como as forças institucionais foram empregadas para manter os humanos alinhados no comportamento, embora sejamos livres para pensar tão loucamente quanto quisermos. São os freios e contrapesos institucionais - as leis, as estruturas de incentivo da sociedade, ramos concorrentes do governo e da governança, a alavancagem de algumas pessoas para supervisionar outras em diferentes situações, a necessidade de adesão, aprovação ou colaboração para fazer as coisas - que fornecem as verdadeiras proteções contra desastres entre os humanos. Obviamente, o sistema é imperfeito, mas é um precedente de como permitir criatividade suficiente para buscar inovação radical, mas ainda ter ordem suficiente para que a civilização persista ou mesmo prospere. Se não levarmos esse precedente a sério, as grades de proteção do alinhamento cairão cada vez mais (e silenciosamente) à medida que os frutos econômicos da imaginação desenfreada se tornarem cada vez mais claros.