Đó là một kết thúc cho ICML2025. Thật tuyệt vời khi chứng kiến không gian này chuyển từ "Bạn đang nói về cái gì" sang "Điều đó là không thể" rồi đến "Hmmm, điều đó thật thú vị" chỉ trong hơn một năm.

Nếu bạn tuyên bố đã thấy điều này đến, bạn nên có bảng P&L đa dạng để chứng minh điều đó.

Noam có xu hướng không phóng đại.

Hoàn toàn đồng ý - Flower labs là một nhóm khác đang tích cực công bố những nội dung tuyệt vời và giờ đây tập trung hoàn toàn vào đào tạo phi tập trung. Đây sẽ là một điểm dữ liệu quan trọng cho tất cả những ai vẫn còn hoài nghi về lĩnh vực này - đội ngũ flower là hợp pháp nhất có thể và Nic Lane gần như đứng đầu trong lĩnh vực Học Tập Liên Kết. Mọi tín hiệu đều cho tôi thấy rằng chúng ta sắp chứng kiến một bước ngoặt học thuật lớn trong lĩnh vực này về phía ML. Thực sự không còn là quan điểm trái chiều nữa, nó đã chuyển từ đó sang rõ ràng là những ngày đầu của một lĩnh vực sẽ trở thành lớn và có ảnh hưởng rất lớn.

Theo kinh nghiệm của tôi, việc có một bài báo về DL phi tập trung được chấp nhận tại các hội nghị hàng đầu có thể khá khó khăn. Động lực không quen thuộc với nhiều người đánh giá, và các thiết lập thí nghiệm tiêu chuẩn không tính đến những vấn đề mà bạn muốn giải quyết. Vì vậy, tôi rất hào hứng khi thấy những công ty như @PluralisHQ và @PrimeIntellect đang nỗ lực chia sẻ kết quả của họ và công bố chúng tại các hội nghị lớn! Theo ý kiến của tôi, ngay cả việc chuẩn bị nộp bài cũng buộc bạn phải nghiêm túc hơn về các thí nghiệm của mình + phản hồi từ các nhà đánh giá giúp bạn làm sắc nét thông điệp của bài báo.

Pluralis + Prime Intellect + Ambient lật đổ Ethereum vào năm 2030

Cảm thấy việc các mô hình meta đóng lại là rất dễ đoán. Tôi đã nói rõ rằng điều này sẽ xảy ra vào năm ngoái và giải thích lý do tại sao (từ ).

Nói liên tục 50 phút trước một phòng đầy các nhà nghiên cứu AI xuất sắc tại ICML, trình bày công việc của @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ, và @GoogleDeepMind. Hiện nay có một sự quan tâm lớn đối với DeAI. Nhiệm vụ (Một phần) đã hoàn thành.

Đối với những người không quen thuộc với việc xuất bản AI; có 3 hội nghị chính diễn ra hàng năm. ICML, ICLR và NeurIPS. Đây là các hội nghị kỹ thuật và tương đương với các tạp chí trong các lĩnh vực khác - chúng là nơi xuất bản chính cho AI. Cạnh tranh để có bài báo tại những hội nghị này hiện đang ở mức độ vô lý, việc được chấp nhận bài báo rất khó khăn, và có rất nhiều lo ngại về quy trình đánh giá, hiện tại khá ồn ào. Một bài báo mạnh mẽ không có lỗi có khoảng 50% cơ hội được chấp nhận, và thường thì một bài báo được nộp với các thay đổi từ người đánh giá nhiều lần cho đến khi nó được chấp nhận. Mặc dù vậy, các bài báo tại những nơi này vẫn là dấu ấn chính của tính hợp pháp trong thế giới AI, và có lẽ vẫn là các chỉ số nghề nghiệp chính cho các nhà nghiên cứu ML (mặc dù điều này đang yếu đi theo ý kiến của tôi khi mà rất nhiều nghiên cứu tại các phòng thí nghiệm tiên phong chưa được công bố). Các bài báo Main Track khác biệt đáng kể so với các bài báo workshop. Main track có quy trình đánh giá đồng nghiệp nghiêm ngặt, căng thẳng. Các bài báo workshop dành cho công việc sơ bộ, cho thấy một số chỉ dẫn về một kết quả thú vị, nhưng không hoàn chỉnh hoặc kết quả không đủ quan trọng cho main track. Chúng chỉ cần được đánh giá bởi nhóm người đánh giá workshop và không xuất hiện trong biên bản. Nhiều bài báo tuyệt vời đã lần đầu tiên xuất hiện trong các hội thảo (ví dụ: grokking) - nhưng các bài báo workshop và main track là những thứ hoàn toàn khác nhau, với một mức độ tác động hoàn toàn khác nhau. Hai công ty duy nhất trong AI phi tập trung có các bài báo main track năm nay là @PrimeIntellect và Pluralis.

Sử dụng các bảng điều khiển Grafana đẹp mắt cho mọi thứ bên trong, đẹp hơn nhiều so với Tensorboard. Wandb vẫn tốt nhưng không thực sự hoạt động với việc đào tạo phi tập trung. Điều này khiến tôi tự hỏi công cụ trực quan nội bộ trong openai sẽ như thế nào - chắc chắn phải tuyệt vời.