A Sapient lançou seu Modelo de Raciocínio Hierárquico (HRM) e os resultados são bastante interessantes. Este é um modelo de parâmetro de 27M que supera Claude 3.5 e o3-mini em benchmarks de raciocínio como ARC-AGI-2, quebra-cabeças complexos de Sudoku e pathfinding em grandes labirintos. O que torna isso notável: O aspecto da eficiência é impressionante. A GRH foi treinada em cerca de 1000 exemplos sem pré-treinamento ou solicitação de cadeia de pensamento, mas lida com tarefas complexas de raciocínio que normalmente exigem modelos muito maiores. Isso o torna prático para implantação em dispositivos de borda e acessível para equipes sem grandes orçamentos de computação. A arquitetura inspirada no cérebro é mais do que apenas terminologia. O HRM usa um design de sistema duplo com dois módulos: um para planejamento abstrato de alto nível e outro para execução detalhada rápida, operando em diferentes escalas de tempo. Isso reflete como a cognição humana funciona com processamento intuitivo rápido e raciocínio deliberado mais lento. O requisito de poucos recursos altera a equação de acessibilidade. Embora a IA mais avançada exija uma infraestrutura significativa, o HRM pode ser executado em hardware comum, abrindo recursos sofisticados de raciocínio para startups e pesquisadores que não podem pagar por computação em larga escala. Abordagem técnica: Em vez de processar tokens sequencialmente como Transformers, o HRM usa loops recorrentes hierárquicos que operam em espaço contínuo em vez de tokens discretos. O modelo resolve tarefas diretamente, sem a necessidade de verbalizar seu processo de pensamento por meio de cadeias passo a passo explícitas. A eficiência do parâmetro vem do aprendizado de padrões de raciocínio que generalizam a partir de exemplos mínimos, em vez de memorizar grandes quantidades de dados de treinamento. O treinamento usa aproximação de gradiente de etapa única para manter o uso de memória constante, tornando-o prático em hardware padrão. O HRM também adapta sua computação - gastando mais ciclos em problemas mais difíceis e menos em problemas mais simples, usando o aprendizado por reforço para determinar quando parar de raciocinar. O processo de raciocínio é interpretável, especialmente em tarefas visuais, onde você pode observar como ele resolve os problemas passo a passo. Isso sugere que o raciocínio avançado pode ser mais sobre design arquitetônico do que escala, o que pode mudar a forma como pensamos sobre a construção de sistemas de IA capazes.
60,05K