Sapient випустила свою модель ієрархічного міркування (HRM), і результати досить цікаві. Це модель з 27 мільйонами параметрів, яка перевершує Claude 3.5 і o3-mini в тестах міркувань, таких як ARC-AGI-2, складні головоломки судоку і пошук шляху у великих лабіринтах. Чим це примітно: Вражає аспект ефективності. HRM був навчений приблизно на 1000 прикладах без попереднього навчання або підказок Chain-of-Thought, але він справляється зі складними завданнями на міркування, які зазвичай вимагають набагато більших моделей. Це робить його практичним для розгортання на периферійних пристроях і доступним для команд без величезних обчислювальних бюджетів. Архітектура, натхненна мозком, – це більше, ніж просто термінологія. HRM використовує подвійну систему дизайну з двома модулями: один для абстрактного планування високого рівня, а інший для швидкого детального виконання, працюючи в різних часових масштабах. Це відображає те, як людське пізнання працює як зі швидкою інтуїтивною обробкою, так і з повільнішим обдуманим міркуванням. Потреба в низьких ресурсах змінює рівняння доступності. У той час як більшість просунутих штучних інтелектів вимагають значної інфраструктури, HRM може працювати на звичайному обладнанні, відкриваючи складні можливості міркувань для стартапів і дослідників, які не можуть дозволити собі великомасштабні обчислення. Технічний підхід: Замість послідовної обробки токенів, як у трансформерів, HRM використовує ієрархічні рекурентні петлі, які працюють у безперервному просторі, а не дискретні токени. Модель вирішує завдання безпосередньо, без необхідності вербалізувати процес свого мислення за допомогою чітких покрокових ланцюжків. Ефективність параметра визначається вивченням шаблонів міркувань, які узагальнюються з мінімальних прикладів, а не запам'ятовуванням величезних обсягів тренувальних даних. У навчанні використовується одноетапне градієнтне наближення для підтримки постійного використання пам'яті, що робить його практичним на стандартному обладнанні. HRM також адаптує свої обчислення - витрачаючи більше циклів на складніші проблеми і менше на простіші, використовуючи навчання з підкріпленням, щоб визначити, коли слід припинити міркування. Процес міркування піддається інтерпретації, особливо на візуальних завданнях, де ви можете спостерігати, як він крок за кроком вирішує проблеми. Це свідчить про те, що передові міркування можуть бути більше пов'язані з архітектурним дизайном, ніж з масштабом, що може змінити наше уявлення про створення здатних систем штучного інтелекту.