非常感谢Ferdinand主持这次对话!这是一个很好的机会,可以全面了解SWARM的各个部分,并深入讨论它们背后的动机。 我希望这个视频能让去中心化的深度学习变得更加易于接触:这个领域的许多想法比看起来要简单!
Ferdinand Mom
Ferdinand Mom2025年6月12日
关于《群体并行性》的研究论文视频评审现已发布,作者 @m_ryabinin,杰出研究科学家 @togethercompute,链接如下 👇 为了提供背景,目前大多数去中心化训练遵循 DDP 风格的方法,需要在每个节点上完全复制模型。虽然对于拥有 H100 集群的人来说是可行的,但这对绝大多数潜在贡献者来说仍然遥不可及,这就是 SWARM 发挥作用的地方!
3.07K