新论文！ 如果你可以保证（使用形式验证和偏微分方程理论的结合）神经网络*总是*给你正确的答案，即使在做出与训练数据相距甚远的推断时，会怎么样呢？ 介绍 BEACONS。下面是 arXiv 链接。（1/15）

在90年代，Mhaskar、Pinkus等人对神经网络的著名通用逼近定理的*定量*版本进行了出色的研究：一个具有N个隐藏神经元的浅层神经网络能够多准确地逼近一个d维函数？ (3/15)

但这些最坏情况的误差界限都严重依赖于被逼近函数的光滑性（即最坏情况误差的规模类似于 N^(-n/d)，其中 n 是函数的连续导数的数量）。这给外推带来了一个重大问题。 (4/15)

我们如何能知道关于一个函数的光滑性，超出我们训练的子域之外的任何信息？这就是为什么无法对远离训练数据的凸包的神经网络函数近似的误差进行界定的根本原因。 (5/15)

但是通过 BEACONS - 有界误差、代数可组合神经求解器 - 我们利用了我们正在学习的函数并非任意的事实，而是偏微分方程（或偏微分方程组）的解。因此，我们可以应用特征法等技术... (6/15)

...或椭圆正则性定理来预测 *a priori* 在空间或时间的任何地方，甚至在训练域之外任意远的地方，必须存在多少个连续导数，利用偏微分方程本身的分析结构。因此，"有界误差" 部分。(7/15)

但是，这样严格的界限仅能证明适用于浅层神经网络（只有一个隐藏层）。如果我们想构建一个更深、更具表现力的架构呢？这就是“代数可组合”部分的用武之地。利用应用范畴理论中的思想…… (8/15)

...我们展示了如何将更深的 BEACONS 架构构建为更浅架构的组合，从而使误差界限保持严格控制。具体来说，我们将复杂的 PDE 解 "因式分解" 为简单函数的组合... (9/15)

...以这样的方式，使得对解的不连续部分的误差的大界限可以被对解的平滑、缓慢变化部分的误差的小界限任意压制，有效地推广了非线性通量限制器的理论。(10/15)

只需指定您想要解决的方程式，以及用于解决它们的神经网络超参数，我们的框架会自动生成高度优化的 C 代码，用于训练和验证这些方程式的 BEACONS 架构，并推断新的解决方案。 (12/15)

同时，它为基础的经典求解器以及基于引导的神经网络求解器生成了正确性的正式证明，并对平滑和非平滑解的最坏情况 L^infinity 错误提供了严格的外推界限。 (13/15)

这些证明以符号 Racket 代码的形式表示，因此是完全可执行的（因此也可以机器检查）。对于各种线性和非线性方程组，我们发现 BEACONS 架构的性能显著优于传统神经网络。 (14/15)

目标是提高科学机器学习背后的数学严谨性，使基于神经网络的方法与经典数值方法处于同等地位，并保证诸如守恒性、收敛性、稳定性和正确性等属性。 (15/15)