实体
Davis--Kahan
Davis--Kahan
PulseAugur coverage of Davis--Kahan — every cluster mentioning Davis--Kahan across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新的Davis-Kahan界限可实现大型矩阵的可扩展谱分析
研究人员开发了一种新的子采样Davis-Kahan界限，以提高大规模矩阵谱分析的效率。该方法使用独立的伯努利采样方案来近似低秩对称矩阵的目标子空间。该界限表明计算成本（与采样概率成线性关系）和统计误差（与采样概率的平方根成反比关系）之间存在权衡，从而实现了可扩展的谱分析。
-
新界限揭示了谱扰动分析中的几何偏差
研究人员为谱扰动分析开发了新的理论界限，特别针对受稀疏、随机噪声和异质方差特征影响的矩阵。他们的工作揭示了经验特征向量中存在系统性的几何偏差，而经典扰动界限未能捕捉到这一点。通过利用二次向量方程并建立各向同性局部定律，他们推导出了近乎最优的界限，区分了信号与噪声的贡献、随机波动以及结构化几何偏差。
-
新研究将优化器选择与LLM微调中遗忘减少联系起来
研究人员探讨了优化器一致性对大型语言模型微调的影响。一项研究表明，在预训练和微调过程中使用相同的优化器可以减少知识遗忘，并在新任务上获得更好的性能，这种现象被称为“优化器-模型一致性”。与LoRA等其他方法相比，这种方法可能提供更好的学习-遗忘权衡。另一篇论文引入了“谱边分析”来研究神经网络训练中的相变，将“grokking”和能力提升等现象与参数更新矩阵的谱隙联系起来。该框架表明，优化器的选择会影响这些动态，实验结果证实了在各种模型…