我还没有听说过这个话题，但人工智能基本上杀死了黑客马拉松。2019年在黑客马拉松上你可能制作的任何东西，在2025年都可以由人工智能更好更快地构建。

这段代码很糟糕，对吧？

可能有10倍的人应该致力于提示优化 系统（我们需要一个vLLM用于提示优化）、理论、新技术、基准测试。整个工具包和一切。

这里有一些免费的内幕消息： 如果我们在预训练后进行强化学习（RL）太久，我们肯定会覆盖参数并开始遗忘一些东西。 在原始的 instructGPT 论文中，他们的最佳模型将 RLHF 与预训练梯度混合，以避免这种模型漂移问题。 然而，现在没有人再这样做了。 当然，这是一种特定的实例（梯度混合），属于一个更广泛的想法（避免遗忘），但随着我们进行越来越多的 RL 步骤，这似乎是一个被极大忽视的思路。 例如，看看最近的 ProRL 论文。他们现在进行超过 1000 步的 GRPO，使用非平凡的学习率，并且没有对偏离原始模型的惩罚。 在预训练期间模型内部构建的电路肯定开始衰退。如果没有，经过 10k 或 100k RL 步骤后，它们将会衰退。 我怀疑这个想法最终会重新回归；他们可能已经在大实验室中这样做了。

我在寻找推理模型泛化的好例子。 例如，一个通过强化学习激励的模型，经过一段时间的思考并解决数学问题后，竟然在创意写作方面变得更好。 这种情况常见吗？

这似乎真的很重要： 在给定一个完美设计的提示的情况下，模型完全有可能在没有 *任何* 强化学习的情况下获得 IMO 金牌。 我们只是不知道，并且缺乏有效搜索提示空间的工具。很高兴看到至少有人在尝试。

你无法编造这些东西

假设情况 - 我是一家人工智能公司，已经将转移和存储模型的成本降低到零。我可以为每个用户提供他们自己的模型，没有任何开销。 我该怎么做？直接在用户的数据上进行用户特定模型的SFT？还是在聊天评分上进行RLHF？或者其他什么？

人类大脑将40%的处理能力专门用于视觉。现代大型语言模型在某种程度上完全没有这一点。

我认识的一个家伙（据说）用自我传播的触发激活的潜伏越狱载荷毒害了全球AI训练数据集。