上周开始为我们的计算机科学专业开设一个关于神经网络的课程。我的计划是从早期经典（麦卡洛克-皮茨，罗森布拉特）开始，经过所有里程碑论文的相关发展，一直到《Attention Is All You Need》。我们通过对概念进行非常详细的数学分析、进行大量数值实验以及对我们定义的每个概念进行实践经验来建立理解。 我必须承认，我没有想到在调整网络权重、内化核心原则以及纯粹实验中会如此有趣。我已经为第一个月的实验准备好了第一批笔记和应用程序。 欢迎提出建议和想法。我会将我的笔记向所有人开放，所以我很好奇是否有任何不准确之处或我可能遗漏的明显要点。

自昨天以来，我一直在与我的合作者 Piotr Pokora 一起研究与对数曲面相关的问题。我们试图弄清楚如何搜索光滑四次曲线上可能的线配置的组合空间，以最大化所谓的陈斜率。在数值方面，我们做了许多例子，而著名的费马四次曲线 x^4 + y^4 + z^4 + w^4 = 0 目前在特定的 16 条线配置中保持着斜率 (= 8/3) 的记录（请参见我们的论文）。这是我们试图在过去两年中打破或证明的预期最大值。今天，我使用包含许多关于问题的细节和我们论文全文的强大提示，运行了 GPT Pro 的顶级版本。 我得到了一个非常有趣的见解：使用混合线性规划。这种方法远远超过了包括模拟退火在内的暴力搜索技术。我们自己没有看到这一点，但模型找到了这个见解，并解释了如何使用 SciPy 编写高效的代码。 我现在意识到我们办公室里有三个人：两个是人类，一个是具有技能和强大计算能力的代理系统。技能变得越来越重要，而这种代理的利用产生了惊人的结果。我感觉我的视角完全转变了。我仍然喜欢与人类合作，但我将深度搜索、大胆构思和广泛探索的任务委托给模型。这显然更快、更高效。而且进展是真实的。我们现在有了一条具体的前进道路。

当我将与GPT Pro的所有中间对话和我论文的原始部分倒入模型中，并等待一个小时，让模型起草一份包含引理、案例、表格等的15页详细报告，改进和重构我的原始证明时，感觉很有趣。我阅读了这15页，想知道是谁写的，因为大多数作者无法以如此好的方式写数学。我感到过时吗？不，我只是被这个快速塑造我想法的工具赋予了力量。