Tôi rất hào hứng về tiềm năng của tính trung thành và khả năng giải thích theo chuỗi suy nghĩ. Nó đã ảnh hưởng đáng kể đến thiết kế các mô hình lý luận của chúng tôi, bắt đầu với o1-preview. Khi các hệ thống AI tiêu tốn nhiều tài nguyên tính toán hơn, ví dụ như trong các vấn đề nghiên cứu dài hạn, điều quan trọng là chúng ta có một cách nào đó để giám sát quy trình nội bộ của chúng. Tính chất tuyệt vời của các CoT ẩn là trong khi chúng bắt đầu được gắn kết với ngôn ngữ mà chúng ta có thể giải thích, quy trình tối ưu hóa có thể mở rộng không gây cản trở khả năng của người quan sát trong việc xác minh ý định của mô hình - không giống như, ví dụ, giám sát trực tiếp với một mô hình thưởng. Sự căng thẳng ở đây là nếu các CoT không bị ẩn theo mặc định, và chúng ta xem quy trình như một phần của đầu ra của AI, thì có rất nhiều động lực (và trong một số trường hợp, sự cần thiết) để đặt giám sát lên nó. Tôi tin rằng chúng ta có thể làm việc hướng tới điều tốt nhất của cả hai thế giới ở đây - đào tạo các mô hình của chúng tôi để xuất sắc trong việc giải thích lý luận nội bộ của chúng, nhưng đồng thời vẫn giữ khả năng thỉnh thoảng xác minh nó. Tính trung thành của CoT là một phần của hướng nghiên cứu rộng hơn, đó là đào tạo cho khả năng giải thích: đặt ra các mục tiêu theo cách mà ít nhất một phần của hệ thống vẫn trung thực và có thể giám sát được với quy mô. Chúng tôi đang tiếp tục tăng cường đầu tư vào nghiên cứu này tại OpenAI.