ICML2025的总结。令人难以置信的是，在短短一年多的时间里，这个领域从“你在说什么”到“这不可能”再到“嗯，这很有趣”的变化。@tha_ajanthan @hmdolatabadi

如果你声称预见到了这一点，你最好有多重盈亏来支持这一说法。

诺姆往往不会夸大其词。

完全同意 - Flower labs 是另一个积极发布优秀内容的团队，现在专注于去中心化培训。这应该是对仍然对这个领域持怀疑态度的每个人来说一个重要的数据点 - flower 团队是非常合法的，Nic Lane 几乎是联邦学习领域的顶尖人物。 对我来说，每一个信号都表明我们即将见证这个领域在机器学习方面的重大学术转折点。现在甚至不再是反向思维，它已经从那种状态转变为显然是即将成为一个重要且非常有影响力的领域的早期阶段。

根据我的经验，想要在顶级会议上接受一篇关于去中心化深度学习的论文是相当困难的。许多评审对这个动机并不熟悉，而标准实验设置并没有考虑到你想要解决的问题。 因此，我非常高兴看到像@PluralisHQ和@PrimeIntellect这样的公司投入精力分享他们的成果并在主要会议上发表！在我看来，甚至准备提交材料也迫使你对实验更加严格，来自评审的外部反馈帮助你更好地明确论文的信息。

Pluralis + Prime Intellect + Ambient 到2030年将颠覆以太坊

感觉元宇宙关闭模型是非常可预测的。我去年明确说过这会发生，并解释了原因（来自）。

在ICML上对一间挤满了狂热AI研究者的房间进行了50分钟的演讲，展示了@akashnet_、@PrimeIntellect、@gensynai、@NousResearch、@PluralisHQ和@GoogleDeepMind的工作。 现在对DeAI的兴趣巨大。 任务（部分）完成。

对于不熟悉人工智能出版的人来说，每年有三个主要的会议：ICML、ICLR和NeurIPS。这些是技术会议，相当于其他学科的期刊——它们是人工智能的主要出版场所。现在在这些会议上发表论文的竞争达到了荒谬的程度，论文被接受非常困难，而且对审稿过程的担忧也很大，目前这个过程相当嘈杂。一篇没有缺陷的强论文被接受的几率大约为50%，通常一篇论文会在经过几次审稿修改后才会被接受。尽管如此，这些场所的论文仍然是人工智能领域的主要合法性标志，并且可能仍然是机器学习研究人员的主要职业指标（尽管我认为这一点正在减弱，因为前沿实验室的许多研究尚未发表）。 主轨道论文与研讨会论文有显著不同。主轨道有严格、严肃的同行评审。研讨会论文是初步工作，给出一些有趣结果的指示，但要么不完整，要么结果对主轨道来说不够重要。它们只需由研讨会审稿人池进行审查，并且不会出现在会议记录中。 许多优秀的论文最初是在研讨会上出现的（例如grokking）——但研讨会论文和主轨道论文在本质上是不同的，影响力也有根本的不同。今年在去中心化人工智能领域中，只有@PrimeIntellect和Pluralis有主轨道论文。

在内部使用漂亮的 Grafana 仪表板，远比 Tensorboard 好得多。Wandb 仍然不错，但在去中心化训练中并不太好用。这让我想知道 OpenAI 的内部可视化工具是什么样的——一定很棒。