automatic differentiation
PulseAugur coverage of automatic differentiation — every cluster mentioning automatic differentiation across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新研究解决PINN在求解PDE方面的局限性 · 跟踪4个来源
近期研究探讨了用于求解偏微分方程（PDE）的物理信息神经网络（PINN）的进展。一篇论文介绍了一种物理信息随机特征方法来解决PINN中的谱偏差问题，降低了计算复杂性并提供了理论误差界限。另一项研究发现了PINN中的一种导数保真度失效模式，证明了准确的函数逼近并不能保证准确的导数，特别是对于二阶导数。第三篇论文提出了一种架构冲突解决PINN（ACR-PINN），该方法结合了层级坐标适应和梯度冲突解决，显著提高了各种基准测试的准确性。最后…
-
新的 arXiv 论文对优化器进行基准测试并为反问题去偏 PINN
两篇新的 arXiv 论文探索使用可微分物理模拟器和物理信息神经网络 (PINNs) 解决反问题。第一篇论文在 12 个可微分物理模拟器上对各种优化器进行了基准测试，以识别参数识别、逆设计和最优控制的有效策略。第二篇论文提出了一种使用 PINNs 的偏微分程约束反问题的去偏估计程序，通过纠正神经网络的干扰函数的偏差，实现了 $\sqrt{n}$ 一致且渐近正态的估计器。
-
研究比较了用于人工智能的偏微分方程求解器的自动微分与基于离散化的约束
一篇新的研究论文系统地分析了用于求解偏微分方程（PDE）的物理信息神经网络（PINNs）中自动微分（AD）与基于离散化的约束之间的权衡。研究表明，随着问题非线性的增加，基于离散化的约束相比AD具有明显的精度优势。此外，研究表明，在处理复杂的非线性和边界条件时，图神经网络（GNNs）的表现优于多层感知机（MLPs），为工程应用中配置神经PDE求解器提供了实践指导。
-
新方法利用机器学习寻找动力学系统中的周期轨道
研究人员开发了一种新的基于Hessian的方法，用于数值延拓动力学系统中的周期轨道，利用傅里叶级数参数化轨道，并使用自动微分实现雅可比矩阵的自动化。这种无需积分器的方法可以有效地识别轨道族的分岔和交点。该方法通过成功延拓双摆的周期振荡得到了验证，揭示了之前未被记录的、两个质量块永不同时静止的周期轨道。
-
新框架简化了神经网络混合效应模型的实现
研究人员开发了一个新的框架，使用模板模型构建器 (TMB) 来实现神经网络混合效应模型 (NMMs)。该方法利用自动微分和拉普拉斯近似，允许用户仅指定负联合对数似然和正则化项。该框架会自动积分出随机效应并计算精确梯度，无需手动推导或近似。该方法已被证明在各种应用中都高效且灵活，并提供了可复现的代码以鼓励更广泛的应用。
-
新的基于PINN的框架求解复杂HJI方程
研究人员开发了一个新框架，将动态规划与物理信息神经网络（PINNs）相结合，以求解称为Hamilton--Jacobi--Isaacs（HJI）方程的复杂数学方程。该方法旨在处理高维和非凸HJI方程，这些方程在随机微分博弈和鲁棒控制等领域至关重要。所提出的方法在求解线性偏微分方程和使用自动微分更新控制策略之间交替进行，并展示了可证明的稳定性和收敛性。数值实验表明了该方法的准确性和可扩展性，在某些应用中优于直接PINN求解器，并显示出在…
-
新研究探讨PINNs的有限差分方法
一篇新论文探讨了在物理信息神经网络（PINNs）中使用有限差分（FD）方法计算导数，并将其作为自动微分（AD）的一种替代方案。研究表明，当经过适当校准时，FD方法在各种批次大小下可以与AD在准确性上相媲美，同时速度更快、内存效率更高。该论文还指出了标准PyTorch自动微分在某些神经网络架构中可能存在的潜在不准确性，并建议FD作为在相关尺度下逐样本导数的一种更可行的近似方法。
-
有限差分法为PINNs提供更快、更准确的导数计算
一篇新论文探讨了有限差分（FD）方法作为物理信息神经网络（PINNs）中自动微分（AD）计算导数的替代方案。研究表明，在各种批处理大小下，FD在精度上可以媲美AD，同时提供更快的计算速度并减少GPU内存使用。此外，该研究强调了标准PyTorch autograd在某些神经网络架构中可能存在的潜在不准确性，建议使用FD作为更可靠的近似方法。
-
新的求解器级微分方法增强了可微分仿真
研究人员开发了一种称为求解器级微分的新方法，用于创建可微分仿真。这种方法直接区分已执行的求解器，而不是区分收敛的方程或依赖于内存密集型的展开自动微分。该技术利用块隐式更新的结构，以相反的顺序应用伴随更新，以镜像前向求解器的局部操作。这导致了一种反向扫描公式，其速度和内存效率都比现有方法显著提高，从而能够仿真具有数百万个体的弹性动力学等复杂系统。
-
量子分类器因测量成本而对梯度攻击显示出固有的防御能力
研究人员分析了对抗性攻击量子分类器的成本，发现有限的量子测量统计数据（即散粒噪声）可以作为一种防御机制。该研究量化了基于梯度的攻击所需的测量预算，表明其随着分类器输入维度的增加而呈不利的比例增长。这与经典机器学习形成对比，后者通常梯度估计更有效，表明量子分类器可能提供一定程度的固有鲁棒性，抵御某些类型的攻击，尤其是在模拟量子系统计算成本高昂的情况下。
-
新方法探索用于神经网络的无梯度优化
研究人员正在探索用于优化神经网络的新颖方法，而不依赖于传统的基于梯度的方法。一篇论文介绍了一种用于可微优化的全一阶层，通过将问题重新表述为双层优化任务来避免计算量大的Hessian计算。另一项研究提出了一种在希尔伯特空间中进行无限维优化的无梯度方法，利用方向导数和自动微分，该方法在通过物理信息神经网络求解微分方程方面显示出潜力。在MNIST数据集上的实际演示成功地采用了一种无导数优化方法，在图像分类中取得了具有竞争力的准确率，并在高维…
-
新算法加速机器学习和频谱测绘的优化
研究人员开发了加速优化算法的新方法，特别侧重于随机子空间 Nesterov 加速梯度技术。这些方法旨在通过利用投影梯度信息来降低计算成本，这在自动微分和通信受限环境等领域很有益。该工作为加速预言机复杂度建立了理论保证，并为比较不同的草图策略提供了框架。