如果你錯過了 @NousResearch 的辦公時間,這裡有一個你錯過的重點摘要 🤖 Psyche 正在民主化 @solana 上的 AI 訓練 Psyche 項目概述:Psyche 旨在實現大型基礎 AI 模型的協作開源訓練,減少對封閉實驗室的依賴,並使用算法來最小化分佈式 GPU 訓練中的通信開銷。 當前模型訓練:他們目前正在訓練一個 400 億參數的 DeepSeek 風格的密集 LLM,旨在強大且可在本地運行。 去中心化協調:訓練協調在 Solana 網絡上進行,以確保去中心化並避免單點故障。 網絡挑戰與解決方案:建立了一個使用 IRO 的點對點 gossip 網絡來處理節點之間的數據傳輸,解決了 Solana 的數據量限制。 轉向 Python 後端(Torch Titan):Psyche 的代碼庫正在通過抽象訓練後端來支持基於 Python 的訓練者(集成了 Torch Titan 的一個分支)進行 "Python 化",預計將提供約 2 倍的速度提升。 微調能力:Psyche 將很快支持完整的微調,包括在 Nous 開發的先進方法,計劃在網絡上微調即將推出的 Nous 模型。 財務審計:基於 Solana 的財務代碼,管理對計算提供者的獎勵分配,已成功通過兩次獨立審計。 未來研究(Psyche 2.0):未來的研究包括探索互聯網上的張量並行(TP)、管道並行(PP)和專家並行(EP),使 Psyche 成為開發先進 AI 算法的平台。 社區貢獻:開發者可以為開源的 Psyche 代碼庫做出貢獻,為 Atropos 強化學習代碼庫創建新環境,並通過使用 Nous API 支持去中心化推理網絡。 長期願景:最終目標是民主化 AI 模型訓練,使任何人都能為全球網絡貢獻計算能力,類似於 "在家摺疊" 或 "在家 SETI",以創造世界上最好的開放 AI。 視頻:
Nous Research
Nous Research2025年7月25日
Psyche 辦公室的開放時間將在 20 分鐘後在我們的 Discord 開始 - 到時見!
@aeyakovenko @0xMert_ 我需要向你們推廣 Nous 🤖
934