Pensamento meio cozido: Em discussões sobre IA, frequentemente são feitas alegações sobre capacidades e efeitos sociais, e na prática a fronteira é bastante nebulosa. Diferentes tipos de personalidade e profissões veem as coisas através de diferentes lentes. A risco de exagerar, duas lentes comuns parecem ser as seguintes: O prévio da ciência da computação tende a ser: uma ASI suficientemente capaz pode, em princípio, resolver qualquer problema. O conhecimento local é apenas dados a serem ingeridos. Se você for inteligente o suficiente e tiver poder computacional suficiente, pode centralizar (e resolver) tudo. Então, uma vez que você ultrapassa o limiar de 'inteligência' humana, que 'utilidade' um humano poderia ter? O prévio do economista (especialmente a vertente hayekiana) é: o conhecimento não é apenas fatos a serem coletados, é contextual, tácito, muitas vezes gerado no momento através da interação. Ele não existe antes do processo que o utiliza. Nenhuma quantidade de poder de otimização permite que você pule o processo, porque o conhecimento não está ali esperando para ser encontrado - ele é constituído pela interação. Na primeira visão, a agência humana torna-se epifenomenal, você está apenas assistindo o otimizador fazer o seu trabalho. Enquanto que na última, se o conhecimento é parcialmente constituído através da interação, então a agência é um componente central. Na verdade, é ineliminável do próprio processo epistêmico. Isso talvez explique por que os dois campos falam um sobre o outro sem se entender. A visão da ciência da computação vê a objeção do economista como "os humanos querem se sentir úteis" ou "a IA atual não é capaz o suficiente ainda" - limitações contingentes que serão superadas. A visão do economista vê a posição da ciência da computação como um erro de categoria sobre o que é o conhecimento - não uma alegação sobre níveis de capacidade futura, mas sobre a estrutura do problema. A visão econômica parece inerentemente menos determinística e sugere alguns benefícios: primeiro, tempo. Se a implementação e adaptação são trabalhos reais que não podem ser pulados, a transição não é instantânea. Não há "foom" onde um sistema de repente faz tudo. Mas, mais importante, pontos de alavancagem: se a criação de valor requer integração específica ao contexto, há muitos pontos onde a governança, instituições e escolhas podem moldar resultados. Não é determinado apenas por quem tem o maior cluster de treinamento ou quão capaz é seu sistema. O outro ponto crucial é basicamente como você pensa sobre alinhamento. Gillian Hadfield explica que "normas e valores não são apenas características de um ambiente exógeno... em vez disso, são os resultados de equilíbrio de sistemas comportamentais dinâmicos." (Com o prévio da ciência da computação, o alinhamento é um problema técnico de extrair a função objetiva correta. Se você mantém o prévio do economista, o alinhamento *é* a integração nos processos sociais dinâmicos que constituem o julgamento normativo: produtos, votos, normas, convenções, escolhas, etc. Moldar isso é uma coisa contínua, não algo a ser resolvido ex ante. Isso não significa necessariamente que a visão da ciência da computação está errada: problemas de principal-agente e problemas de seguir instruções são reais - mas o espaço de solução é muito maior do que o modelo em si e inclui toda a pilha institucional através da qual os sistemas de IA são implementados, governados e responsabilizados.