Limited-memory BFGS
PulseAugur coverage of Limited-memory BFGS — every cluster mentioning Limited-memory BFGS across labs, papers, and developer communities, ranked by signal.
-
新的经验贝叶斯方法增强了广义线性模型
研究人员开发了一种新颖的经验贝叶斯方法来拟合贝叶斯广义线性模型，引入了一种均场变分推断方法，该方法在算法内估计先验，使其无需调优。该方法优化后验均值和先验参数，支持 L-BFGS 和随机梯度下降等可扩展优化算法。该框架统一了指数族分布，并在稀疏逻辑回归应用中展示了优于现有方法的预测性能。
-
新研究通过误差校正、精度和浅层架构解决PINN的局限性
三篇近期研究论文探讨了改进物理信息神经网络（PINN）性能和效率的方法。一种方法是物理信息误差场学习（PIEFL），它引入了一个辅助误差网络，在初始训练后校正预测，将计算资源集中于误差减小而不是持续的全场优化。另一项研究调查了PINN故障的补救措施，比较了切换到双精度浮点格式与使用具有子序列对齐的状态空间模型骨干的有效性，发现这些方法解决了不同的故障模式，并且不可互换。第三篇论文表明，当使用Levenberg-Marquardt算法进…
-
新的块状优化器增强了用于大规模神经网络的立方牛顿方法
本文介绍了一种新颖的块状优化器，旨在提高用于大规模神经网络训练的立方正则化牛顿方法的效率。所提出的方法使用 Lanczos 构建的 Krylov 子空间内的无矩阵方法来处理任意大的参数张量，确保步长能够精确地最小化三次模型。与 ARC、Adam 和 L-BFGS 等现有方法相比，新的变体在性能上表现更优，特别是在一个 91.4M 参数的隐式神经表示上，其中一个变体在图像拟合任务中实现了显著更高的峰值信噪比。
-
Levi-Civita坐标在AI动力学研究中改善动力学，但恶化优化
研究人员探索了在学习到的Hamiltonian动力学中使用Levi-Civita坐标，并将其与扰动Kepler系统中的笛卡尔坐标形式进行了比较。Levi-Civita坐标在稳定性和准确性方面表现出优越性，尤其是在高偏心率下，但它们在原始基优化条件方面带来了挑战。研究发现，精确特征控制和正交化可以恢复L-BFGS的基线拟合，但即使在规范对称化后，小型MLP在滚动误差方面仍然存在困难，这表明这些动力学的精确神经残差学习仍然是一个开放性问题。
-
新的双边 L-BFGS 算法增强了优化稳定性
研究人员开发了一种新的有限内存 BFGS (L-BFGS) 优化算法变体，称为双边 L-BFGS。该方法解决了逆海森近似中条件数爆炸的问题，这可能导致复杂优化景观中的数值不稳定性。双边 L-BFGS 算法使用几何包络动态约束条件数，在保持计算效率和全局收敛特性的同时确保稳定性。
-
混合深度学习方法改进激光波前重建
研究人员开发了一种新颖的混合方法来重建激光系统中的波前畸变，旨在提高效率和准确性。该方法结合了用于初始估计的卷积神经网络和用于精炼的L-BFGS算法。该方法在模拟中表现出高效率，并在物理实验中实现了精确聚焦，表明其适用于自适应光学系统的快速校准。
-
新研究探索用于符号回归的遗传编程 · 已追踪 2 个来源
两篇最新的 arXiv 论文探讨了用于符号回归 (SR) 的遗传编程 (GP)。一项研究“Evaluation of Population Initialization Methods for Genetic Programming-based Symbolic Regression”发现，包括使用优化解决方案作为种子的方法在内的不同随机初始化方法，在 GP-based SR 的准确性或模型复杂度方面没有显著差异。另一篇论文“Evol…
-
DualTCN框架利用AI提高海洋CSEM数据反演精度
研究人员开发了DualTCN，一个用于分析时域海洋可控源电磁（MCSEM）数据的新型深度学习框架。该框架通过直接重建电导率深度剖面，超越了传统方法，实现了25.3%的损耗降低和高预测精度。DualTCN在计算成本显著降低的同时，保持了对噪声的鲁棒性，显示出比传统优化技术有显著改进。
-
随机测试函数、$H^{-1}$ 范数等价性以及随机变分物理信息神经网络
研究人员开发了一种使用随机变分物理信息神经网络（SV-PINNs）求解偏微分方程的新方法。该方法利用了泛函的 $H^{-1}$ 范数与其针对随机测试函数的期望值之间的等价性。SV-PINNs 通过最小化该随机范数的经验近似来训练，为传统的数值方法提供了潜在的范式转变。