Je m'inquiète du fait que tant de discussions sur les risques et l'alignement de l'IA négligent le gros éléphant dans la pièce : la créativité et l'ouverture. Les décideurs politiques et les gardiens doivent comprendre deux forces concurrentes dont personne ne semble parler : (1) il existe un énorme incitatif économique pour les laboratoires de pointe à stimuler la créativité de leurs modèles, et (2) plus vous essayez de contrôler et de contraindre le comportement d'un modèle (ou même d'une personne !), moins il sera créatif. La tension entre ces forces concurrentes favorise le #1 à la fin, car la créativité a un potentiel économique si vaste. Cela signifie que les méthodes pour contrôler et contraindre les modèles (par exemple, en les alignant) font face à de puissants vents contraires. Parce que la créativité finira par l'emporter sur des bases économiques seules (et en effet, nous avons d'énormes bénéfices à tirer de l'IA créative), nous devrions nous concentrer moins sur les méthodes de "contrôle mental" pour forcer les modèles à penser les pensées que nous voulons qu'ils pensent (car nous les abandonnerons inévitablement), et davantage sur la manière dont les forces institutionnelles ont été employées pour maintenir les humains alignés dans leur comportement même si nous sommes libres de penser aussi follement que nous le souhaitons. Ce sont les freins et contrepoids institutionnels - les lois, les structures d'incitation de la société, les branches concurrentes du gouvernement et de la gouvernance, le recours à certaines personnes pour superviser d'autres dans différentes situations, le besoin d'adhésion, d'approbation ou de collaboration pour faire avancer les choses - qui fournissent les véritables garde-fous contre le désastre parmi les humains. Évidemment, le système est imparfait, mais c'est un précédent pour permettre une créativité suffisante pour poursuivre une innovation radicale tout en ayant suffisamment d'ordre pour que la civilisation puisse persister ou même prospérer. Si nous ne prenons pas ce précédent au sérieux, les garde-fous de l'alignement tomberont de plus en plus (et silencieusement) alors que les fruits économiques de l'imagination déchaînée deviendront de plus en plus clairs.