Sapient și-a lansat modelul de raționament ierarhic (HRM) și rezultatele sunt destul de interesante. Acesta este un model de parametri de 27 de milioane care depășește Claude 3.5 și o3-mini pe benchmark-uri de raționament precum ARC-AGI-2, puzzle-uri complexe Sudoku și găsirea traseului în labirinturi mari. Ce face acest lucru notabil: Aspectul eficienței este izbitor. HRM a fost antrenat pe aproximativ 1000 de exemple, fără pre-antrenament sau îndemn în lanț de gândire, dar se ocupă de sarcini complexe de raționament care necesită de obicei modele mult mai mari. Acest lucru îl face practic pentru implementarea pe dispozitive edge și accesibil pentru echipele fără bugete de calcul masive. Arhitectura inspirată de creier este mai mult decât o simplă terminologie. HRM folosește un design cu două sisteme, cu două module: unul pentru planificarea abstractă la nivel înalt și altul pentru execuție detaliată rapidă, funcționând la diferite scări de timp. Acest lucru oglindește modul în care funcționează cogniția umană atât cu procesarea intuitivă rapidă, cât și cu raționamentul deliberat mai lent. Cerința de resurse reduse schimbă ecuația accesibilității. În timp ce cea mai avansată inteligență artificială necesită o infrastructură semnificativă, HRM poate rula pe hardware obișnuit, deschizând capabilități sofisticate de raționament pentru startup-uri și cercetători care nu își pot permite calcule la scară largă. Abordare tehnică: În loc să proceseze token-uri secvențial ca Transformers, HRM folosește bucle recurente ierarhice care operează în spațiu continuu, mai degrabă decât token-uri discrete. Modelul rezolvă sarcinile direct, fără a fi nevoie să-și verbalizeze procesul de gândire prin lanțuri explicite pas cu pas. Eficiența parametrilor provine din învățarea modelelor de raționament care generalizează din exemple minime, mai degrabă decât din memorarea unor cantități mari de date de antrenament. Antrenamentul folosește aproximarea gradientului într-un singur pas pentru a menține utilizarea memoriei constantă, făcându-l practic pe hardware-ul standard. HRM își adaptează, de asemenea, calculul - petrecând mai multe cicluri pe probleme mai dificile și mai puține pe cele mai simple, folosind învățarea prin întărire pentru a determina când să se oprească raționamentul. Procesul de raționament este interpretabil, în special în sarcinile vizuale unde puteți observa cum rezolvă problemele pas cu pas. Acest lucru sugerează că raționamentul avansat ar putea fi mai mult despre designul arhitectural decât despre scară, ceea ce ar putea schimba modul în care ne gândim la construirea de sisteme AI capabile.