Sapientは階層的推論モデル(HRM)をリリースし、その結果は非常に興味深いものでした。これは、ARC-AGI-2、複雑な数独パズル、大きな迷路での道探しなどの推論ベンチマークで、Claude 3.5やo3-miniを上回る27Mのパラメータモデルです。 これを注目に値する理由: 効率の側面は驚くべきものです。HRMは、事前トレーニングや思考連鎖のプロンプトなしで、約1000の例でトレーニングされましたが、通常、はるかに大きなモデルを必要とする複雑な推論タスクを処理します。これにより、エッジデバイスへの展開が実用的であり、膨大なコンピューティング予算を持たないチームでもアクセスできます。 脳にインスパイアされたアーキテクチャは、単なる用語ではありません。HRMは、2つのモジュール(1つは高レベルの抽象計画用、もう1つは迅速な詳細実行用)の2つのモジュールを備えたデュアルシステム設計を使用しており、異なる時間スケールで動作します。これは、人間の認知が高速で直感的な処理と遅い意図的な推論の両方でどのように機能するかを反映しています。 リソース要件が少ないと、アクセシビリティの方程式が変わります。ほとんどの高度な AI には大規模なインフラストラクチャが必要ですが、HRM は通常のハードウェア上で実行できるため、大規模なコンピューティングを買う余裕のない新興企業や研究者に高度な推論機能が開かれます。 技術的アプローチ: HRM は、Transformer のようにトークンを順次処理する代わりに、離散トークンではなく連続空間で動作する階層的な反復ループを使用します。このモデルは、明示的なステップバイステップのチェーンを通じて思考プロセスを言語化することなく、タスクを直接解決します。 パラメータ効率は、膨大な量のトレーニングデータを記憶するのではなく、最小限の例から一般化する推論パターンを学習することから生まれます。このトレーニングでは、シングルステップ勾配近似を使用してメモリ使用量を一定に保つため、標準ハードウェアで実用的です。 HRMはまた、その計算を適応させ、より難しい問題により多くのサイクルを費やし、より単純な問題に費やすサイクルを減らし、強化学習を使用して推論をいつ停止するかを決定します。推論プロセスは解釈可能であり、特に視覚的なタスクでは、問題を段階的に解決する方法を観察できます。 これは、高度な推論が規模よりも建築設計に関するものである可能性があることを示唆しており、有能な AI システムの構築に対する考え方を変える可能性があります。