Pensée à moitié cuite : Dans les discussions sur l'IA, des affirmations sont souvent faites concernant à la fois les capacités et les effets sociétaux, et en pratique, la frontière est assez floue. Différents types de personnalité et professions voient les choses à travers différentes lentilles. Au risque de caricaturer, deux lentilles communes semblent être les suivantes : Le prior en informatique a tendance à être : un ASI suffisamment capable peut en principe résoudre n'importe quel problème. La connaissance locale n'est que des données à ingérer. Si vous êtes assez intelligent et avez suffisamment de puissance de calcul, vous pouvez centraliser (et résoudre) tout. Donc, une fois que vous avez franchi le seuil de 'l'intelligence' humaine, quelle 'utilité' un humain pourrait-il jamais avoir ? Le prior économiste (surtout la tendance hayekienne) est : la connaissance n'est pas juste des faits à collecter, elle est contextuelle, tacite, souvent générée sur le moment par l'interaction. Elle n'existe pas avant le processus qui l'utilise. Aucun pouvoir d'optimisation ne vous permet de sauter le processus, car la connaissance n'est pas là, attendant d'être trouvée - elle est constituée par l'interaction. Dans la première vue, l'agence humaine devient épiphénoménale, vous regardez juste l'optimiseur faire son travail. Alors qu'avec la seconde, si la connaissance est en partie constituée par l'interaction, alors l'agence est un composant central. En fait, elle est inéliminable du processus épistémique lui-même. Cela explique peut-être pourquoi les deux camps parlent à travers l'autre. La vue en informatique considère l'objection économiste comme "les humains veulent se sentir utiles" ou "l'IA actuelle n'est pas encore assez capable" - des limitations contingentes qui seront surmontées. La vue économiste considère la position en informatique comme une erreur de catégorie sur ce qu'est la connaissance - pas une affirmation sur les niveaux de capacité futurs mais sur la structure du problème. La vue économique semble intrinsèquement moins déterministe et suggère certains avantages : d'abord, le temps. Si le déploiement et l'adaptation sont un vrai travail qui ne peut pas être sauté, la transition n'est pas instantanée. Il n'y a pas de "foom" où un système fait soudainement tout. Mais plus important encore, les points de levier : si la création de valeur nécessite une intégration spécifique au contexte, il y a de nombreux points où la gouvernance, les institutions et les choix peuvent façonner les résultats. Ce n'est pas uniquement déterminé par celui qui a le plus grand cluster d'entraînement ou par la capacité de votre système. L'autre point crucial est essentiellement comment vous pensez à l'alignement. Gillian Hadfield explique que "les normes et les valeurs ne sont pas juste des caractéristiques d'un environnement exogène... au lieu de cela, elles sont les résultats d'équilibre de systèmes comportementaux dynamiques." (Avec le prior en informatique, l'alignement est un problème technique d'extraction de la bonne fonction objective. Si vous tenez le prior économiste, l'alignement *est* l'intégration dans les processus sociaux dynamiques qui constituent le jugement normatif : produits, votes, normes, conventions, choix, etc. Façonner cela est un processus continu, pas quelque chose à résoudre ex ante. Cela ne signifie pas nécessairement que la vue en informatique est fausse : les problèmes d'agent principal et les problèmes de suivi des instructions sont réels - mais l'espace de solution est bien plus vaste que le modèle lui-même et inclut l'ensemble de la pile institutionnelle à travers laquelle les systèmes d'IA sont déployés, gouvernés et tenus responsables.