automatic differentiation
PulseAugur coverage of automatic differentiation — every cluster mentioning automatic differentiation across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究探讨PINNs的有限差分方法
一篇新论文探讨了在物理信息神经网络（PINNs）中使用有限差分（FD）方法计算导数，并将其作为自动微分（AD）的一种替代方案。研究表明，当经过适当校准时，FD方法在各种批次大小下可以与AD在准确性上相媲美，同时速度更快、内存效率更高。该论文还指出了标准PyTorch自动微分在某些神经网络架构中可能存在的潜在不准确性，并建议FD作为在相关尺度下逐样本导数的一种更可行的近似方法。
-
量子分类器因测量成本而对梯度攻击显示出固有的防御能力
研究人员分析了对抗性攻击量子分类器的成本，发现有限的量子测量统计数据（即散粒噪声）可以作为一种防御机制。该研究量化了基于梯度的攻击所需的测量预算，表明其随着分类器输入维度的增加而呈不利的比例增长。这与经典机器学习形成对比，后者通常梯度估计更有效，表明量子分类器可能提供一定程度的固有鲁棒性，抵御某些类型的攻击，尤其是在模拟量子系统计算成本高昂的情况下。
-
新方法探索用于神经网络的无梯度优化
研究人员正在探索用于优化神经网络的新颖方法，而不依赖于传统的基于梯度的方法。一篇论文介绍了一种用于可微优化的全一阶层，通过将问题重新表述为双层优化任务来避免计算量大的Hessian计算。另一项研究提出了一种在希尔伯特空间中进行无限维优化的无梯度方法，利用方向导数和自动微分，该方法在通过物理信息神经网络求解微分方程方面显示出潜力。在MNIST数据集上的实际演示成功地采用了一种无导数优化方法，在图像分类中取得了具有竞争力的准确率，并在高维…
-
新算法加速机器学习和频谱测绘的优化
研究人员开发了加速优化算法的新方法，特别侧重于随机子空间 Nesterov 加速梯度技术。这些方法旨在通过利用投影梯度信息来降低计算成本，这在自动微分和通信受限环境等领域很有益。该工作为加速预言机复杂度建立了理论保证，并为比较不同的草图策略提供了框架。