thật tuyệt vời! truyền cảm hứng và là một lời nhắc nhở tuyệt vời rằng hầu hết các nhà nghiên cứu AI hàng đầu thực sự không có mặt trên twitter. hầu hết không tweet, nhiều người không có tài khoản những người ồn ào nhất ở đây, những người thường xuyên đăng về AI, thường chỉ là những gã công nghệ vô danh ngẫu nhiên.

không ai đơn giản "giải quyết" một vấn đề nghiên cứu thay vào đó, người ta phát triển một khung tư duy mới từ những nguyên tắc cơ bản. hỏi và trả lời các câu hỏi và câu hỏi phụ, có thể kéo dài trong vài tháng cuối cùng, khi xem xét lại vấn đề ban đầu, người ta nhận ra rằng nó là điều tầm thường

Tôi chưa nghe thấy điều này được thảo luận nhưng AI cơ bản đã giết chết các hackathon. Hầu như bất cứ điều gì bạn có thể tạo ra tại một hackathon vào năm 2019 đều có thể được AI xây dựng tốt hơn và nhanh hơn vào năm 2025.

đây là mã xấu phải không?

có lẽ 10 lần nhiều người hơn nên làm việc về tối ưu hóa prompt các hệ thống (chúng ta cần một vLLM cho promptopt), lý thuyết, kỹ thuật mới, tiêu chuẩn. toàn bộ mọi thứ

đây là một số thông tin miễn phí: nếu chúng ta thực hiện RL quá lâu sau khi huấn luyện trước, chúng ta chắc chắn sẽ ghi đè các tham số và bắt đầu quên đi những điều đã học trong bài báo gốc về instructGPT, mô hình tốt nhất của họ đã kết hợp RLHF với các gradient huấn luyện trước để tránh chính vấn đề trôi mô hình này nhưng không ai làm điều này nữa. chắc chắn, đó là một cách cụ thể (trộn gradient) của một ý tưởng rộng hơn (tránh quên) nhưng có vẻ như đây là một dòng suy nghĩ bị bỏ qua rất nhiều khi chúng ta thực hiện ngày càng nhiều bước RL ví dụ, xem bài báo ProRL gần đây. họ đang thực hiện hơn 1000 bước GRPO bây giờ với một tỷ lệ học không tầm thường và không có hình phạt cho việc lệch khỏi mô hình gốc. các mạch được xây dựng bên trong mô hình trong quá trình huấn luyện trước chắc chắn đang bắt đầu suy giảm. và nếu không, chúng sẽ suy giảm sau 10k hoặc 100k bước RL tôi nghi ngờ rằng ý tưởng này sẽ quay trở lại vào một lúc nào đó; họ có lẽ đã thực hiện điều này tại các phòng thí nghiệm lớn.

Tôi đang tìm kiếm những ví dụ tốt về sự tổng quát của mô hình lý luận. Ví dụ, một mô hình được khuyến khích thông qua RL để suy nghĩ một lúc và giải quyết các bài toán toán học thì lại trở nên tốt hơn trong việc viết sáng tạo. Điều này có phổ biến không?

điều này có vẻ rất quan trọng: hoàn toàn có khả năng rằng một mô hình có thể đạt được IMO gold mà không cần *bất kỳ* học tăng cường nào, với một prompt được thiết kế hoàn hảo chúng ta chỉ không biết, và thiếu công cụ để tìm kiếm hiệu quả trong không gian prompt. Rất vui khi thấy ít nhất có ai đó đang cố gắng

bạn không thể bịa ra những thứ này

tình huống giả định - tôi là một công ty AI đã giảm chi phí chuyển giao và lưu trữ các mô hình xuống bằng không. tôi có thể phục vụ mỗi người dùng mô hình riêng của họ mà không có chi phí phụ tôi nên làm gì? trực tiếp SFT các mô hình cụ thể cho người dùng trên dữ liệu của họ? hay RLHF dựa trên đánh giá của cuộc trò chuyện? hay một cái gì đó khác?