Tôi có xu hướng nói rằng *hệ thống* RL bên trong OpenAI là AGI hơn là bất kỳ điểm kiểm tra mô hình cố định nào xuất phát từ nó.

Tôi nhận ra tại sự kiện ở Berlin rằng có rất nhiều người trẻ tài năng và đầy tham vọng ở châu Âu. Chỉ có (hầu như) không có công ty truyền cảm hứng nào để xây dựng tương lai cũng như không có quỹ đầu tư mạo hiểm nào dám cho họ một cơ hội. Không có gì ngạc nhiên khi mọi người đều muốn đến sf|

Open AI sẽ được nhớ đến như một trong những công ty truyền cảm hứng nhất mọi thời đại.

Tôi không thấy lý do gì để mã nguồn xác định kích thước lô ở mức độ từng GPU. Điều này có nghĩa là cần phải thay đổi tham số kích thước lô một cách thủ công khi tăng/giảm quy mô thí nghiệm. Tôi đoán điều này đã được thực hiện trong mã nguồn mà không có tích lũy gradient?

Chúng ta nên lo lắng hơn về việc thinky tuyển dụng tất cả những người làm pytorch hơn là zuck săn lùng từ open ai.

Nếu bạn đang ở ICML và quan tâm đến suy diễn có thể xác minh, hãy chắc chắn ghé qua poster của chúng tôi! Chúng tôi sẽ trình bày TOPLOC, một phương pháp băm kích hoạt hiệu quả hoạt động trong nhiều cài đặt khác nhau, ví dụ như chuyển đổi các thiết lập suy diễn hoặc thậm chí là các mô hình. Ngày 16 tháng 7, 4:30 chiều, E-1106

Bài viết blog mới & thư viện mới đã ra mắt! Bài viết này nói về MaxSim, tại sao nó *khó khăn hơn nhiều lần* so với độ tương đồng cosine bình thường, và tại sao GPU không quan tâm, nhưng CPU thì có! Thư viện là maxsim-cpu, giúp cho CPU có thể nhanh và cũng giữ được phong độ.

chiến thắng tuyệt đối @kellerjordan0

Tò mò muốn thử điều này với diloco, vẫn sẽ đặt bs=1 trên bộ tối ưu hóa bên trong và vẫn nhận được lợi ích từ sự song song dữ liệu.

cũng như cấp bậc trong kỹ thuật là khả năng làm việc với nợ kỹ thuật của người khác