Sapient đã phát hành Mô hình Lập luận Hệ thống Phân cấp (HRM) và kết quả thật sự rất thú vị. Đây là một mô hình 27 triệu tham số vượt trội hơn Claude 3.5 và o3-mini trong các bài kiểm tra lập luận như ARC-AGI-2, các câu đố Sudoku phức tạp và tìm đường trong các mê cung lớn. Điều gì làm cho điều này nổi bật: Khía cạnh hiệu quả thật sự ấn tượng. HRM đã được đào tạo trên khoảng 1000 ví dụ mà không cần tiền đào tạo hay gợi ý Chuỗi Tư duy, nhưng nó vẫn xử lý được các nhiệm vụ lập luận phức tạp thường yêu cầu các mô hình lớn hơn nhiều. Điều này làm cho nó thực tiễn để triển khai trên các thiết bị biên và dễ tiếp cận cho các nhóm không có ngân sách tính toán lớn. Kiến trúc lấy cảm hứng từ não bộ không chỉ là thuật ngữ. HRM sử dụng thiết kế hệ thống đôi với hai mô-đun: một cho lập kế hoạch trừu tượng cấp cao và một cho thực thi chi tiết nhanh chóng, hoạt động ở các thang thời gian khác nhau. Điều này phản ánh cách mà nhận thức của con người hoạt động với cả xử lý trực quan nhanh chóng và lập luận chậm hơn, có chủ đích. Yêu cầu tài nguyên thấp thay đổi phương trình khả năng tiếp cận. Trong khi hầu hết các AI tiên tiến yêu cầu cơ sở hạ tầng đáng kể, HRM có thể chạy trên phần cứng thông thường, mở ra khả năng lập luận tinh vi cho các công ty khởi nghiệp và các nhà nghiên cứu không thể chi trả cho tính toán quy mô lớn. Cách tiếp cận kỹ thuật: Thay vì xử lý các token theo trình tự như Transformers, HRM sử dụng các vòng lặp hồi quy phân cấp hoạt động trong không gian liên tục thay vì các token rời rạc. Mô hình giải quyết các nhiệm vụ trực tiếp mà không cần phải diễn đạt quá trình suy nghĩ của nó thông qua các chuỗi từng bước rõ ràng. Hiệu quả tham số đến từ việc học các mẫu lập luận tổng quát từ các ví dụ tối thiểu thay vì ghi nhớ một lượng lớn dữ liệu đào tạo. Việc đào tạo sử dụng xấp xỉ gradient một bước để giữ cho việc sử dụng bộ nhớ không đổi, làm cho nó thực tiễn trên phần cứng tiêu chuẩn. HRM cũng điều chỉnh tính toán của nó - dành nhiều chu kỳ hơn cho các vấn đề khó khăn và ít hơn cho những vấn đề đơn giản, sử dụng học tăng cường để xác định khi nào nên dừng lập luận. Quá trình lập luận có thể giải thích được, đặc biệt là trong các nhiệm vụ hình ảnh nơi bạn có thể quan sát cách nó giải quyết vấn đề từng bước. Điều này gợi ý rằng lập luận tiên tiến có thể nhiều hơn về thiết kế kiến trúc hơn là quy mô, điều này có thể thay đổi cách chúng ta nghĩ về việc xây dựng các hệ thống AI có khả năng.