Random Matrix Theory
PulseAugur coverage of Random Matrix Theory — every cluster mentioning Random Matrix Theory across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的 SpecTraL 方法改进了视觉 Transformer 的联邦 LoRA
研究人员开发了一种名为 SpecTraL 的新方法，用于使用低秩适配器 (LoRA) 改进视觉 Transformer (ViTs) 的联邦学习。该方法解决了现有策略的局限性，例如 LoRA 因子的一致性平均和连接本地适配器带来的下载成本增加。SpecTraL 在低秩潜在空间中利用 Householder 变换和随机矩阵理论的原理，将全局共识信号与噪声分离，从而无需手动调整即可发现最优的层级全局秩。实验表明，SpecTraL 增强了准…
-
新研究探讨扩散模型、偏差缓解和强化学习应用 · 跟踪 10 个来源
近期研究探讨了扩散模型的进展，重点关注理论基础、优化技术和偏差缓解。一篇论文介绍了贝叶斯信息受限扩散（BIRD）模型，解释了扩散模型如何通过限制信息来泛化，并确定了记忆与泛化之间的相界。另一项工作 D2PO 使用动态偏好学习优化扩散采样器，提高了感知质量，性能优于基于回归的方法。此外，一种名为 CO-ALIGN 的新方法使用概念图对齐来减少文本到图像模型中的偏差，同时保持生成完整性。其他研究还探讨了扩散采样中的数值稳定性和强化学习中扩…
-
随机矩阵理论框架扩展了深度学习模型的分析
本文介绍了一个名为高维等价的新框架，该框架扩展了随机矩阵理论（RMT）以分析非线性机器学习模型，如深度神经网络（DNNs）。该框架解决了高维性、非线性以及过参数化模型中通用特征谱函数分析带来的挑战。该研究为各种网络类型的训练和泛化性能提供了精确的表征，捕捉了诸如缩放定律、双下降和非线性学习动态等现象。
-
新 PCA 方法利用 Knockoff 扰动解决均值漂移噪声
研究人员开发了一种名为 Mean-Shift PCA by Knockoff Mean 的新方法，以解决主成分分析 (PCA) 中的噪声问题。该技术引入了刻意的扰动来识别和去除均值漂移污染，这会严重扭曲 PCA 结果，尤其是在高维数据中。所提出的算法利用随机矩阵理论的工具来证明噪声分量的谱可分性，并保持原始特征空间的稳定性。
-
随机矩阵理论检测神经网络和大型语言模型中的过拟合
研究人员开发了一种新颖的方法，使用随机矩阵理论来检测神经网络中的过拟合，特别是在长时程训练的“反领悟”阶段。该技术通过分析随机权重矩阵中与Marchenko-Pastur分布的偏差来识别模型层中的“相关性陷阱”。研究发现，随着测试准确率下降而训练准确率保持高位，这些陷阱会增加，重要的是，一些大型语言模型也表现出类似的陷阱，这表明可能存在有害的过拟合。