Sapient发布了他们的层次推理模型（HRM），结果相当有趣。这是一个拥有2700万个参数的模型，在推理基准测试中超越了Claude 3.5和o3-mini，如ARC-AGI-2、复杂的数独谜题和大型迷宫中的路径寻找。 这值得注意的地方： 效率方面令人瞩目。HRM在大约1000个示例上进行训练，没有预训练或思维链提示，但它能够处理通常需要更大模型的复杂推理任务。这使得它在边缘设备上的部署变得实用，并且对没有庞大计算预算的团队来说也很可及。 这种受大脑启发的架构不仅仅是术语。HRM采用双系统设计，包含两个模块：一个用于高层次的抽象规划，另一个用于快速的详细执行，分别在不同的时间尺度上运行。这与人类认知的工作方式相似，既有快速的直觉处理，也有较慢的深思熟虑的推理。 低资源需求改变了可及性方程。虽然大多数先进的人工智能需要显著的基础设施，但HRM可以在普通硬件上运行，为无法承担大规模计算的初创公司和研究人员打开了复杂推理能力的大门。 技术方法： HRM不是像变压器那样顺序处理标记，而是使用在连续空间中操作的层次递归循环，而不是离散标记。该模型直接解决任务，而无需通过明确的逐步链条来口头化其思维过程。 参数效率来自于学习从最小示例中概括的推理模式，而不是记忆大量的训练数据。训练使用单步梯度近似来保持内存使用恒定，使其在标准硬件上变得实用。 HRM还会调整其计算——在更难的问题上花费更多的周期，而在简单问题上花费更少，使用强化学习来确定何时停止推理。推理过程是可解释的，特别是在视觉任务中，您可以观察它如何逐步解决问题。 这表明，先进的推理可能更多地与架构设计有关，而不是规模，这可能会改变我们对构建有能力的人工智能系统的思考方式。