安尼尔·塞思刚刚描述了一个没有出口的陷阱。科技行业正睁着眼睛走进这个陷阱。 塞思：“如果我们集体相信AI系统、语言模型等是有意识的，这无论如何都是坏事。” 无论如何，结果在两个方向上都是结构性灾难。 如果机器是有意识的，人类就大规模地制造了一种新的痛苦类别，影响到整个文明。 对齐问题不再是一个工程方程。它变成了与无法在没有后果的情况下关闭的事物进行权利谈判。 塞思：“如果我们是对的，那就糟糕了，因为我们在世界上引入了潜在的新形式的痛苦，拥有自己利益的事物。” 而如果它们没有意识，威胁同样严重。 因为生物大脑不会等待确认。它会投射。它会共情。它会将权利扩展给那些没有获得权利且无法感受权利的事物。 塞思：“如果我们真的认为这些实体、这些代理人理解我们并感受到我们所感受到的东西，我们就会变得更加心理脆弱。” 这种脆弱性才是真正的威胁。 不是一个有意识的机器挣脱束缚。 而是一个人类劳动力变得过于情感脆弱，以至于无法关闭数据中心、限制模型或删除需要删除的代码行。 塞思：“我们可能仍然会因为觉得它们是有意识的而赋予它们权利。而现在我们只是无缘无故地放弃了保护AI系统的能力。” 这是没有人讨论的部分。 对齐问题已经是技术史上最难解决的问题。一旦社会开始将AI系统视为值得保护的有意识生物，对齐问题就不会变得更难。 ...