我将“autoresearch”项目打包成一个新的自包含的最小仓库,如果人们想在周末玩玩的话。它基本上是nanochat LLM训练核心,简化为一个单GPU、一个文件版本,约630行代码,然后: - 人类迭代提示(.md) - AI代理迭代训练代码(.py) 目标是设计你的代理,使其在没有你任何参与的情况下无限制地快速推进研究。在图像中,每个点都是一个完整的LLM训练运行,持续正好5分钟。代理在git功能分支上以自主循环工作,并在找到更好的设置(到最后的验证损失更低)时,将git提交累积到训练脚本中,包括神经网络架构、优化器、所有超参数等。你可以想象比较不同提示、不同代理等的研究进展。 部分代码,部分科幻,还有一点精神病 :)