Preocupo-me que tanta discussão sobre os riscos da IA e a sua alinhamento ignore o elefante na sala: a criatividade e a abertura. Os responsáveis políticos e os guardiões precisam entender duas forças concorrentes que ninguém parece discutir: (1) há um enorme incentivo econômico para que os laboratórios de ponta aumentem a criatividade dos seus modelos, e (2) quanto mais você tenta controlar e restringir o comportamento de um modelo (ou mesmo de uma pessoa!), menos criativo ele será. A tensão entre essas forças concorrentes favorece o #1 no final, porque a criatividade tem um potencial econômico vasto. Isso significa que os métodos para controlar e restringir modelos (por exemplo, alinhando-os) enfrentam poderosos ventos contrários. Porque a criatividade acabará por prevalecer apenas com base em fundamentos econômicos (e, de fato, temos enormes benefícios a ganhar com a IA criativa), devemos olhar menos para métodos de "controle mental" para forçar modelos a pensar os pensamentos que queremos que eles pensem (porque inevitavelmente abandonaremos esses), e mais para como as forças institucionais têm sido empregadas para manter os humanos alinhados em comportamento, mesmo que sejamos livres para pensar tão loucamente quanto quisermos. São os controles e equilíbrios institucionais - as leis, as estruturas de incentivos da sociedade, os ramos de governo e governança em competição, a alavancagem de algumas pessoas para fornecer supervisão sobre outras em diferentes situações, a necessidade de aceitação, aprovação ou colaboração para fazer as coisas - que fornecem as verdadeiras barreiras contra desastres entre os humanos. Obviamente, o sistema é imperfeito, mas é um precedente de como permitir criatividade suficiente para buscar inovações radicais, mas ainda ter ordem suficiente para que a civilização persista ou até prospere. Se não levarmos esse precedente a sério, as barreiras do alinhamento cairão cada vez mais (e silenciosamente) à medida que os frutos econômicos da imaginação descontrolada se tornem cada vez mais claros.