Sapient hat ihr Hierarchical Reasoning Model (HRM) veröffentlicht, und die Ergebnisse sind ziemlich interessant. Dies ist ein 27M-Parameter-Modell, das Claude 3.5 und o3-mini bei Denkbenchmarks wie ARC-AGI-2, komplexen Sudoku-Rätseln und der Pfadsuche in großen Labyrinthen übertrifft. Was dies bemerkenswert macht: Der Effizienz-Aspekt ist auffällig. HRM wurde mit ungefähr 1000 Beispielen ohne Vortraining oder Chain-of-Thought-Prompting trainiert, und dennoch bewältigt es komplexe Denkaufgaben, die typischerweise viel größere Modelle erfordern. Dies macht es praktisch für den Einsatz auf Edge-Geräten und zugänglich für Teams ohne massive Rechenbudgets. Die hirninspirierte Architektur ist mehr als nur Terminologie. HRM verwendet ein Dual-System-Design mit zwei Modulen: eines für hochgradige abstrakte Planung und ein anderes für schnelle detaillierte Ausführung, die auf unterschiedlichen Zeitskalen arbeiten. Dies spiegelt wider, wie menschliche Kognition funktioniert, mit sowohl schnellen intuitiven Prozessen als auch langsameren überlegten Überlegungen. Die geringen Ressourcenanforderungen verändern die Zugänglichkeitsgleichung. Während die meisten fortschrittlichen KI erhebliche Infrastruktur erfordern, kann HRM auf regulärer Hardware betrieben werden, was anspruchsvolle Denkfähigkeiten für Startups und Forscher eröffnet, die sich keine großangelegte Rechenleistung leisten können. Technischer Ansatz: Anstatt Tokens sequenziell wie Transformer zu verarbeiten, verwendet HRM hierarchische rekursive Schleifen, die im kontinuierlichen Raum anstatt in diskreten Tokens arbeiten. Das Modell löst Aufgaben direkt, ohne seinen Denkprozess durch explizite Schritt-für-Schritt-Ketten verbal zu machen. Die Parameter-Effizienz resultiert aus dem Lernen von Denkmustern, die sich aus minimalen Beispielen verallgemeinern, anstatt riesige Mengen an Trainingsdaten zu memorieren. Das Training verwendet eine ein-Schritt-Gradientenapproximation, um den Speicherverbrauch konstant zu halten, was es auf Standardhardware praktikabel macht. HRM passt auch seine Berechnung an - es verbringt mehr Zyklen mit schwierigeren Problemen und weniger mit einfacheren, wobei es Reinforcement Learning verwendet, um zu bestimmen, wann es mit dem Denken aufhören soll. Der Denkprozess ist interpretierbar, insbesondere bei visuellen Aufgaben, bei denen man beobachten kann, wie es Probleme Schritt für Schritt löst. Dies deutet darauf hin, dass fortgeschrittenes Denken möglicherweise mehr über architektonisches Design als über Skalierung geht, was unsere Denkweise über den Aufbau fähiger KI-Systeme verändern könnte.