Sapient opublikował swój Hierarchiczny Model Rozumowania (HRM), a wyniki są dość interesujące. To model o 27 milionach parametrów, który przewyższa Claude 3.5 i o3-mini w benchmarkach rozumowania, takich jak ARC-AGI-2, złożone łamigłówki Sudoku i znajdowanie ścieżek w dużych labiryntach. Co czyni to godnym uwagi: Aspekt efektywności jest uderzający. HRM był trenowany na około 1000 przykładach bez wstępnego treningu ani podpowiedzi Chain-of-Thought, a mimo to radzi sobie z złożonymi zadaniami rozumowania, które zazwyczaj wymagają znacznie większych modeli. To czyni go praktycznym do wdrożenia na urządzeniach brzegowych i dostępnym dla zespołów bez ogromnych budżetów obliczeniowych. Architektura inspirowana mózgiem to więcej niż tylko terminologia. HRM wykorzystuje projekt z podwójnym systemem z dwoma modułami: jednym do wysokopoziomowego planowania abstrakcyjnego i drugim do szybkiej szczegółowej egzekucji, działającym w różnych skalach czasowych. To odzwierciedla, jak działa ludzka kognicja, z szybkim przetwarzaniem intuicyjnym i wolniejszym, świadomym rozumowaniem. Niskie wymagania zasobowe zmieniają równanie dostępności. Podczas gdy większość zaawansowanej AI wymaga znacznej infrastruktury, HRM może działać na zwykłym sprzęcie, otwierając zaawansowane możliwości rozumowania dla startupów i badaczy, którzy nie mogą sobie pozwolić na obliczenia na dużą skalę. Podejście techniczne: Zamiast przetwarzać tokeny sekwencyjnie jak Transformers, HRM wykorzystuje hierarchiczne pętle rekurencyjne, które działają w przestrzeni ciągłej, a nie dyskretnych tokenów. Model rozwiązuje zadania bez potrzeby werbalizowania swojego procesu myślenia poprzez wyraźne łańcuchy krok po kroku. Efektywność parametrów wynika z uczenia się wzorców rozumowania, które generalizują z minimalnych przykładów, a nie z zapamiętywania ogromnych ilości danych treningowych. Trening wykorzystuje przybliżenie gradientu jednego kroku, aby utrzymać stałe zużycie pamięci, co czyni go praktycznym na standardowym sprzęcie. HRM dostosowuje również swoje obliczenia - spędzając więcej cykli na trudniejszych problemach i mniej na prostszych, wykorzystując uczenie przez wzmocnienie, aby określić, kiedy zakończyć rozumowanie. Proces rozumowania jest interpretowalny, szczególnie w zadaniach wizualnych, gdzie można obserwować, jak rozwiązuje problemy krok po kroku. To sugeruje, że zaawansowane rozumowanie może być bardziej kwestią projektowania architektury niż skali, co może zmienić nasze myślenie o budowaniu zdolnych systemów AI.