これは、AGIへの道と、スケーリングだけで(スケーリング+ CoT推論さえもしない)理由についてのCholletによる素晴らしい講演です。以下のビデオリンク。 彼は、抽象化、記号的推論、連続最適化と離散最適化 (プログラム検索)、その他多くの重要なトピックについて議論しています。 彼が「流動的知能」という用語を使い続けていることに注意してください。 $trillionsと地政学的優位性が危機に瀕しているため、AI研究者は「知性」とは何かについて現実的でなければなりません。彼らは、目覚めた愚かさによって主にアカデミーから追い出された心理測定の方法(現在は人間ではなくAIに適用されている)を再現することになります。

人間は、現在のLLMでは苦手な離散的な組み合わせ思考をしています。特に、人間は離散モジュールと抽象化されたプロパティを組み合わせて、複雑なプログラムの心のイメージを構築できます。人間の脳は、この離散的な組み合わせプロセスについて推測したり直感したりするために、バックグラウンドである種の連続的な「距離メトリック」ヒューリスティックを使用している可能性があります。 Chollet氏は、AIが組み合わせ問題(モジュールの抽象化されたプロパティを含む)をメトリックのある潜在空間に埋め込む機能を構築して、継続的な最適化手法を使用して解決策を見つける必要があると示唆しています(つまり、直感を活用し、ブルートフォース検索を回避します)。