实体
Davis--Kahan
Davis--Kahan
PulseAugur coverage of Davis--Kahan — every cluster mentioning Davis--Kahan across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新界限揭示了谱扰动分析中的几何偏差
研究人员为谱扰动分析开发了新的理论界限，特别针对受稀疏、随机噪声和异质方差特征影响的矩阵。他们的工作揭示了经验特征向量中存在系统性的几何偏差，而经典扰动界限未能捕捉到这一点。通过利用二次向量方程并建立各向同性局部定律，他们推导出了近乎最优的界限，区分了信号与噪声的贡献、随机波动以及结构化几何偏差。
-
新研究将优化器选择与LLM微调中遗忘减少联系起来
研究人员探讨了优化器一致性对大型语言模型微调的影响。一项研究表明，在预训练和微调过程中使用相同的优化器可以减少知识遗忘，并在新任务上获得更好的性能，这种现象被称为“优化器-模型一致性”。与LoRA等其他方法相比，这种方法可能提供更好的学习-遗忘权衡。另一篇论文引入了“谱边分析”来研究神经网络训练中的相变，将“grokking”和能力提升等现象与参数更新矩阵的谱隙联系起来。该框架表明，优化器的选择会影响这些动态，实验结果证实了在各种模型…