半成品的想法： 在關於AI的討論中，經常會提出關於其能力和社會影響的主張，而在實踐中，這一界限相當模糊。不同的個性類型和職業以不同的視角看待事物。冒著過度刻板印象的風險，兩種常見的視角似乎如下： 計算機科學的前提是：足夠強大的ASI原則上可以解決任何問題。當地知識只是需要被吸收的數據。如果你足夠聰明並且擁有足夠的計算能力，你可以集中（並解決）一切。因此，一旦你超過人類的「智力」門檻，人類還能有什麼「效用」呢？ 經濟學家的前提（特別是哈耶克派）是：知識不僅僅是要收集的事實，它是有上下文的、隱性的，通常是在互動中即時生成的。它在使用之前並不存在。無論優化能力多麼強大，都無法跳過這一過程，因為知識並不是靜靜地等待被發現的，而是由互動構成的。 在前者的觀點中，人類的行動變得附帶性，你只是看著優化器做它的事情。而在後者中，如果知識部分是通過互動構成的，那麼行動就是核心組成部分。事實上，它是無法從認識過程中消除的。 這或許解釋了為什麼這兩個陣營彼此交談時會錯過重點。計算機科學的觀點認為經濟學家的反對意見是「人類想要感覺有用」或「當前的AI還不夠強大」——這些都是可以克服的偶然限制。經濟學的觀點則認為計算機科學的立場是對知識的類別錯誤——這不是對未來能力水平的主張，而是對問題結構的看法。 經濟學的觀點似乎本質上不那麼決定論，並暗示了一些好處：首先，時間。如果部署和適應是真正的工作，無法跳過，那麼過渡就不是瞬間的。沒有「快速增長」，一個系統突然做所有事情。但更重要的是，槓桿點：如果價值創造需要特定上下文的整合，那麼有許多點可以通過治理、機構和選擇來塑造結果。這不僅僅取決於擁有最大訓練集群的人或你的系統有多強大。 另一個關鍵問題基本上是你如何看待對齊。吉莉安·哈德菲爾德解釋說「規範和價值不僅僅是外部環境的特徵……相反，它們是動態行為系統的均衡產出。」（對於計算機科學的前提，對齊是一個提取正確目標函數的技術問題。如果你持有經濟學家的前提，對齊*就是*融入構成規範判斷的動態社會過程：產品、投票、規範、習俗、選擇等。 塑造這一點是一個持續的過程，而不是事先解決的問題。這並不一定意味著計算機科學的觀點是錯誤的：主要代理問題和遵循指令的問題是真實存在的——但解決方案空間遠比模型本身要大，並包括整個機構堆棧，通過這些機構，AI系統被部署、治理和負責。

《晨訪者》（1967） 由迪諾·布札提

新論文：我們認為AGI可能首先作為代理網絡中的集體智慧出現，而不是單一系統。這重新框定了挑戰，從對齊一個思想轉變為治理新興動態：這更多是制度設計而非單一代理的對齊。