半成品的想法： 在关于AI的讨论中，常常会提出关于能力和社会影响的主张，而在实践中，这个界限相当模糊。不同的个性类型和职业通过不同的视角看待事物。冒着过度刻画的风险，似乎有两种常见的视角： 计算机科学的前提是：足够强大的ASI原则上可以解决任何问题。地方知识只是待吸收的数据。如果你足够聪明并且有足够的计算能力，你可以集中（并解决）一切。因此，一旦你超过人类的“智力”阈值，人类还有什么“效用”？ 经济学家的前提（尤其是哈耶克派）是：知识不仅仅是要收集的事实，它是有上下文的、隐性的，通常是在互动中瞬间生成的。在使用它的过程中，它并不存在。没有任何优化能力可以让你跳过这个过程，因为知识并不是静静地等待被发现的——它是通过互动构成的。 在前一种观点中，人类的能动性变得附带，你只是看着优化者做它的事情。而在后一种观点中，如果知识部分是通过互动构成的，那么能动性就是一个核心组成部分。实际上，它是不可消除的，存在于认识过程本身中。 这或许解释了为什么这两个阵营彼此交谈时常常错过对方。计算机科学的观点认为经济学家的反对意见是“人类想要感到有用”或“当前的AI还不够强大”——这些都是可以克服的偶然限制。经济学家的观点则认为计算机科学的立场是对知识的类别错误——这不是关于未来能力水平的主张，而是关于问题结构的主张。 经济学的观点似乎本质上不那么决定论，并暗示了一些好处：首先，时间。如果部署和适应是真正的工作，无法跳过，那么过渡就不是瞬间的。没有“飞速发展”，一个系统突然做所有事情。但更重要的是，杠杆点：如果价值创造需要特定上下文的整合，那么有许多点可以通过治理、制度和选择来塑造结果。这并不仅仅由拥有最大训练集群或系统能力的人决定。 另一个关键点基本上是你如何看待对齐。吉莉安·哈德菲尔德解释说：“规范和价值观不仅仅是外部环境的特征……相反，它们是动态行为系统的均衡输出。”（在计算机科学的前提下，对齐是提取正确目标函数的技术问题。如果你持有经济学家的前提，对齐*就是*融入构成规范判断的动态社会过程：产品、投票、规范、惯例、选择等。 塑造这一点是一个持续的过程，而不是事先解决的事情。这并不一定意味着计算机科学的观点是错误的：委托代理问题和遵循指令的问题是真实存在的——但解决方案空间远大于模型本身，并包括通过其部署、治理和问责AI系统的整个制度框架。

《晨间访客》（1967） 由迪诺·布扎提

新论文：我们认为，AGI 可能首先作为代理网络中的集体智能出现，而不是单一系统。这将挑战从对齐一个思想转变为治理涌现动态：更多的是制度设计而非单一代理对齐。