這正在發生:由 AI 代理進行的自主 AI 研究在 nanochat 上! 629 行代碼來訓練 GPT-2。一個 markdown 文件定義了研究議程。這就是整個研究實驗室。 AI 研究人員可能是第一批被 AI 取代的。最有趣的結果是最可能發生的。
Andrej Karpathy
Andrej Karpathy3月8日 03:53
我將 "autoresearch" 專案打包成一個新的自包含的最小化倉庫,如果大家想在週末玩玩。它基本上是 nanochat LLM 訓練核心,簡化為單 GPU 的一個檔案版本,大約 630 行代碼,然後: - 人類在提示 (.md) 上進行迭代 - AI 代理在訓練代碼 (.py) 上進行迭代 目標是設計你的代理,使其能夠無限快速地推進研究,而不需要你自己的參與。在圖片中,每個點都是一個完整的 LLM 訓練運行,持續正好 5 分鐘。代理在 git 功能分支上以自主循環工作,並在找到更好的設置(最終的驗證損失更低)時,將 git 提交累積到訓練腳本中,這些設置包括神經網絡架構、優化器、所有超參數等。你可以想像比較不同提示、不同代理等的研究進展。 部分代碼、部分科幻,還有一點精神病 :)
召喚 GPT-5.4 xhigh 和 Claude Opus 4.6,給他們 16 個 GPU,讓他們在陽光明媚的星期六進行自主研究,這是非常令人滿意的。 這也是評估哪個模型是更好的研究者的好方法。明天可能會發佈有趣的結果。
161