我们还没有自我改进的人工智能，当我们拥有时，它将是一个游戏规则的改变者。与GPT-4时代相比，现在的智慧更多，很明显这不会是一个“快速起飞”，而是会在许多年内极其渐进，可能需要十年。 首先要知道的是，自我改进，即模型自我训练，并不是二元的。考虑GPT-5训练GPT-6的场景，这将是不可思议的。GPT-5会突然从完全无法训练GPT-6变成非常熟练地训练它吗？绝对不会。第一次GPT-6的训练运行可能在时间和计算上与人类研究人员相比极其低效。只有经过多次尝试，GPT-5才能实际比人类更好地训练GPT-6。 其次，即使一个模型能够自我训练，它也不会突然在所有领域变得更好。在各个领域自我改进的难度是有梯度的。例如，也许自我改进一开始只在我们已经知道如何轻松修复的后训练领域有效，比如基本的幻觉或风格。接下来是数学和编码，这需要更多的工作，但有已建立的方法来改进模型。然后在极端情况下，你可以想象有些任务对于自我改进来说是非常困难的。例如，讲Tlingit语的能力，这是一种由约500人讲的美洲土著语言。模型在自我改进讲Tlingit语方面会非常困难，因为我们还没有解决这种低资源语言的方法，除了收集更多数据，这需要时间。因此，由于自我改进的难度梯度，这一切不会一下子发生。 最后，也许这有争议，但科学的进步最终是受到现实世界实验的瓶颈限制的。有些人可能认为阅读所有生物学论文会告诉我们癌症的治疗方法，或者阅读所有机器学习论文并掌握所有数学将使你能够完美地训练GPT-10。如果真是这样，那么阅读最多论文和研究最多理论的人将是最好的人工智能研究人员。但实际上发生的情况是，人工智能（以及许多其他领域）被无情的经验研究人员主导，这反映了进步在多大程度上基于现实世界的实验，而不是单纯的智力。因此，我的观点是，尽管一个超级聪明的代理可能设计出比我们最优秀的人类研究人员好2倍甚至5倍的实验，但最终他们仍然必须等待实验的进行，这将是加速，但不是快速起飞。 总之，进步有许多瓶颈，不仅仅是原始智力或自我改进系统。人工智能将解决许多领域，但每个领域都有其自己的进展速度。即使是最高的智力仍然需要现实世界中的实验。因此，这将是一个加速，而不是快速起飞，感谢你阅读我的发言。