Jacobian matrix
PulseAugur coverage of Jacobian matrix — every cluster mentioning Jacobian matrix across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新的目标-响应雅可比矩阵在AI模型分析中优于影响度量
研究人员引入了目标-响应雅可比矩阵（$J$），这是一种用于理解模型预测如何响应单个训练目标变化的度量。该度量通过关注目标敏感性而非观测权重来补充现有的训练数据归因（TDA）方法。在包括tanh网络和MNIST分类器在内的各种数据集和网络架构上进行的实验表明，$J$在预测目标扰动方面显著优于传统的影响度量，在影响度量失败的情况下取得了接近完美的$R^2$分数。
-
新的基于Rényi的度量增强了MLP的可解释性
研究人员引入了一系列新的度量，称为“alpha-RC度量”，旨在增强多层感知机（MLP）的可解释性。这些度量基于Rényi散度，旨在量化雅可比矩阵的子矩阵的集中度，提供一个介于0和1之间的有界度量，与网络大小无关。这种方法解决了现有参与度比度量（Participation Ratio metric）依赖于网络架构的局限性。在单隐藏层MLP上的计算实验证明了这些新度量的效用。
-
新的 LeMA 框架支持大型深度学习模型的可扩展 Levenberg-Marquardt 训练
研究人员开发了 LeMA，一个深度学习模型的分布式训练框架，使得 Levenberg-Marquardt (LMA) 算法能够应用于大规模神经网络。LeMA 通过采用精确对偶公式消除了对参数维度的内存依赖，并采用雅可比分片策略进行并行计算，从而解决了 LMA 带来的高昂内存和计算成本问题。这种方法允许对拥有数十亿参数的模型进行精确的 LMA 步进，在多 GPU 平台上实现了显著的加速和高扩展效率。
-
新的 JAX 工具包支持高效的自动稀疏微分
名为 asdex 的新工具包已发布，适用于 JAX 生态系统，提供了首个独立的自动稀疏微分 (ASD) 实现。该方法旨在高效计算雅可比矩阵或海森矩阵，这对于科学计算和机器学习任务至关重要。ASD 通过利用这些矩阵的稀疏性来优化导数计算，减少所需的自动微分次数，特别是对于输出仅依赖于少数输入的函数。
-
新研究探讨了低成本集合中的 Gauss-Newton 精度和不定海森矩阵
本文深入探讨了脊正则化非线性最小二乘法中 Gauss-Newton 曲率的精度。它确定在局部正则性和水平集曲率持续存在的特定条件下，两种不同的曲率状态可以统一共存。该研究证明了全局最小值的存在，并为其相对海森误差提供了界限，同时还识别了同一低成本集合中表现出具有更高相对误差的不定海森矩阵的点。研究结果得到了说明输出对齐、曲率方向和持续性影响的解析示例以及关于雅可比矩阵行秩的结构性结果的支持。
-
新论文探讨高斯-牛顿精度与不定Hessian
本文深入探讨了脊正则化非线性最小二乘法中高斯-牛顿曲率的精度。在局部正则性和持续的水平集曲率的特定条件下，本文证明了两种不同的曲率机制可以统一共存。研究证明了全局最小值的存在，并提供了它们相对Hessian误差的界限，同时还识别出同一低成本集合中表现出具有更高相对误差的不定Hessian的点。研究进一步详细说明了正脊盖如何在各种扰动下发挥作用，并证明了随着脊权重接近零，这些邻域保持稳定。引入了逐点证书来管理Hessian校正分量，并推…
-
新分析详细介绍了梯度下降在扰动目标上的差分隐私
研究人员开发了一种方法来分析梯度下降应用于扰动目标时的差分隐私。该方法包括在优化之前向目标函数添加一个随机线性项，然后检查所得最小化器的性质。该研究提供了梯度下降迭代保持隐私的条件，特别是对于具有利普希茨海森矩阵的强凸和平滑目标。对于广义线性模型，一旦满足某些迭代条件，这种隐私分析显示出不依赖于环境维度，并且优化误差呈几何级数下降。
-
新算法使用一阶梯度简化联邦双层优化
研究人员开发了一种新的联邦随机双层优化算法，该算法避免了计算成本高昂的二阶Hessian和Jacobian矩阵。这种新颖的方法，称为联邦随机方差缩减双层梯度下降，完全依赖于一阶预言机，显著缩短了运行时间。该算法还采用了一种独特的常数单时间尺度学习率机制进行变量更新，并包含了一种建立收敛速率的新策略。实验结果据称已证实了该算法的有效性。
-
机器人学研究引入基于结果的表示学习
研究人员开发了一种在机器人学中学习操纵充分表示的新方法，该方法侧重于动作结果而非密集几何状态。该方法利用了带有KL正则化项的动作条件结果瓶颈，旨在保留可接受动作的结果分布。该系统在抓取选择和主动视点选择等各种任务中都显示出有效性，与重建几何方法相比，抓取成功率的AUC显著提高。
-
新的 Jacobian Lens 工具测试 AI 模型是否使用内部信号
研究人员开发了一种新的可解释性工具，称为 Jacobian lens，旨在确定模型内部信号是否在其决策过程中被积极使用。与主要识别相关性的 logit lens 或 tuned lens 等先前方法不同，Jacobian lens 通过分析模型的平均 Jacobian 矩阵来实现可测试的干预。这使得研究人员能够选择性地编辑内部状态并观察预测的行为变化，为信号的功能作用提供了更强的证据。
-
新框架增强了不确定性下的电网稳定性
研究人员开发了一个新的框架，用于在不确定性下确保交流最优潮流系统的稳定性。该方法利用了一种新颖的几何方法，将稳定性要求转化为“提升”变量空间中的凸约束。通过优化样本安全半径，该框架证明了不确定性球体保持在稳定区域内，提供了到故障的距离的认证下界。数值研究证实了该方法在增强系统鲁棒性方面的有效性。
-
新的SC-NOs提高了神经网络在复杂PDE建模中的准确性
研究人员开发了敏感性约束神经算子（SC-NOs），以提高用于建模偏微分方程（PDE）的神经网络的可靠性和数据效率。通过引入雅可比监督，SC-NOs提高了正向预测和反向建模的能力，尤其是在高维输入方面。该方法在平流-扩散和RANS-Spalart-Allmaras等基准测试中表现出更高的准确性和成本效益，并有望用于海啸源反演等实时应用。
-
新理论解释用于语言模型解释的雅可比矩阵透镜
研究人员开发了一个数学框架，以更好地理解雅可比矩阵透镜（J-lens），这是一种用于解释语言模型内部表征的方法。该研究为J-lens提供了理论基础，将其视为一个近似未来读出的因果传递算子。分析表明，雅可比矩阵的能量分布是稀疏且集中的，导致了短视界和稀疏概念的预测。这一理论洞见促使了对J-lens的改进建议，增强了其在模型推理过程中可视化概念的能力。
-
新方法增强了本地差分隐私下的数据效用
研究人员开发了一种新颖的方法来提高在本地差分隐私（LDP）下收集的数据的效用。该方法选择性地减少数据中最与特定任务相关的子空间中的噪声，而不是在所有维度上应用均匀噪声。通过使用公共模型的雅可比矩阵识别这些关键子空间，该方法将噪声分布从各向同性重塑为各向异性，从而在保持隐私保证的同时提高了数据效用。实验表明，在图像分类任务上准确性得到了显著提高。
-
新研究表明归一化层可为序列标注器提供全局上下文
一篇新研究论文挑战了对卷积序列标注器中上下文的传统理解。该研究表明，序列池化归一化层可以提供全局上下文，绕过了模型感受野的限制。这种源自层雅可比矩阵的归一化机制显著提高了序列标注任务的性能，尤其是在标签运行时间长的情况下，如在合成数据和1000 Genomes Project的实验所示。
-
神经算子无法可靠地为PDE的牛顿求解器进行热启动
研究人员发现，在使用神经算子为非线性偏微分方程（PDE）的牛顿求解器进行热启动时存在一个关键缺陷。虽然神经算子可以降低测试误差，但它们仍可能产生离散雅可比矩阵不定的初始状态，导致求解器失败。这个问题之所以出现，是因为算子可能会将物理属性（例如超弹性问题中的体积变化）分散到远离其正确值的位置。为了纠正这种谱问题，研究人员提出了一种新颖的微调阶段，该阶段通过对算子施加离散能量惩罚，而无需额外的求解数据，从而在先前方法失败的加载范围内实现了…
-
FishBack 方法使用非欧几里得几何改进 Transformer 激活定向
研究人员开发了一种名为 FishBack 的新方法，以改进 Transformer 中的激活定向，这是一种无需更新参数即可修改语言模型行为的技术。现有方法由于激活空间是欧几里得空间的错误假设，通常不稳定，并且会干扰不相关的行为。FishBack 通过使用 softmax 层的 Fisher 信息度量，通过雅可比矩阵拉回，推导出最佳定向，从而纠正了这一点。该方法通过减少目标外失真，尤其是在几何校正影响最大的早期和中间层，在 GPT-2 …
-
新研究为神经网络训练提供理论收敛保证
两篇新研究论文探讨了神经网络训练的理论基础。第一篇论文通过引入广义 Lipschitz 光滑性条件，为通用前馈神经网络中的梯度下降建立了收敛保证。第二篇论文提出了一种深度神经网络训练的统一优化框架，通过 Legendre 函数和共轭变换推广了凸性和光滑性，并引入了具有理论收敛率的广义梯度下降和 SGD。
-
新研究提出通过函数正交性实现无监督解耦
一篇新的研究论文提出了一种新颖的无监督解耦表示学习方法，将潜在概念构建为通过局部正交方向影响观测值的因素。该方法通过对生成映射的雅可比矩阵施加正交性约束来形式化，旨在在不依赖统计独立性或因果假设的情况下，在非线性生成模型中实现可辨识性。使用正交性正则化归一化流的实验已在经验上验证了该理论，展示了对真实因素的可靠恢复，并为变分自编码器（VAE）的有效性提供了见解。这些发现挑战了先前关于无监督解耦不可能性的说法，并提出了一种有原则的替代方案。
-
Gemma 2-2B研究发现主动特征平面具有更少全纯性
一篇新发表在arXiv上的研究论文调查了Gemma 2-2B模型特定特征平面的全纯性集中情况。该研究在检查数据之前预先注册了其方法论和分析规则。与主动特征平面会表现出更多全纯性的预测相反，结果显示情况恰恰相反，主动平面携带的全纯性少于对照组。该论文总结认为，这是一个可审计的操作性反转，而非确定的因果声明，其根本原因仍有待进一步研究。