Random Matrix Theory
PulseAugur coverage of Random Matrix Theory — every cluster mentioning Random Matrix Theory across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
联邦学习分析利用随机矩阵理论洞察性能
研究人员对应用于联邦学习最小二乘模型的广义全变分最小化（GTVMin）进行了大维度分析。利用随机矩阵理论，他们证明了全局GTVMin解的Lipschitz观测在高维度下可以普遍收敛，无论网络结构如何。该研究还为固定网络上独立同分布（i.i.d.）和非i.i.d.高斯混合分布下的性能提供了精确的解析表达式，通过正则化量化了局部适应与协作之间的权衡。这些理论发现通过合成数据和真实世界数据的实验得到了验证。
-
新理论表明高斯噪声可保留多头自注意力机制中的谱律
研究人员为多头自注意力机制建立了一个名为高斯等价性的理论框架。该框架表明，用重缩放分数加上高斯噪声替换标准的softmax注意力，可以保持中心化输出的极限谱律。这些发现利用随机矩阵理论得出，也扩展到依赖于键（keys）的值（values）和输出投影，区分了头分配和投影宽度对谱律保持的影响。
-
随机特征网络展现二次泛化改进
研究人员探索了两层随机特征网络中的弱到强泛化，其中在较弱教师模型数据上训练的学生模型取得了更好的性能。利用随机矩阵理论，该研究推导了教师模型和学生模型误差的确定性等价物。对于ReLU激活和特定的目标函数，分析揭示了二次改进，学生误差的缩放比例为教师误差的平方，达到了一个通用的下界。
-
新的神经网络提前停止规则可绕过训练
研究人员开发了一种新的、依赖数据的神经网络训练提前停止规则，该规则可以解析地估计泛化误差，从而无需通过梯度下降进行数值估计。这个新颖的框架基于具有L1范数的Rademacher复杂度，为依赖随机矩阵理论且通常对数据分布做出限制性假设的现有方法提供了一种替代方案。该方法最初专注于线性模型，但通过线性探测可以扩展到非线性神经网络，如在MNIST分类示例中所示。
-
研究人员探索自编码器的混沌边缘
研究人员在自编码器（一种深度神经网络）的背景下探索了“混沌边缘”（EoC）的概念。这种介于有序和混沌信号传播之间的临界状态，被认为在网络稳定性和性能方面具有优势。该研究利用随机矩阵理论和 Sudakov-Fernique 不等式对自编码器的局部和全局 EoC 进行了分析。
-
新的随机投影流框架用于流形密度估计
研究人员推出了一种名为随机投影流（RPF）的新型框架，该框架旨在对位于低维流形上或附近的复杂高维数据进行高效密度估计。该方法利用了随机矩阵理论和随机投影几何的工具，使用随机半正交矩阵将数据投影到低维潜在空间。与主成分分析流或学习到的内射映射等现有方法不同，RPF被呈现为一种即插即用、高效的解决方案，其里奇流形体积校正项具有封闭形式的表达式，为生成模型提供了强大的基线。
-
新的 SpecTraL 方法改进了视觉 Transformer 的联邦 LoRA
研究人员开发了一种名为 SpecTraL 的新方法，用于使用低秩适配器 (LoRA) 改进视觉 Transformer (ViTs) 的联邦学习。该方法解决了现有策略的局限性，例如 LoRA 因子的一致性平均和连接本地适配器带来的下载成本增加。SpecTraL 在低秩潜在空间中利用 Householder 变换和随机矩阵理论的原理，将全局共识信号与噪声分离，从而无需手动调整即可发现最优的层级全局秩。实验表明，SpecTraL 增强了准…
-
新研究探讨扩散模型、偏差缓解和强化学习应用 · 跟踪 10 个来源
近期研究探讨了扩散模型的进展，重点关注理论基础、优化技术和偏差缓解。一篇论文介绍了贝叶斯信息受限扩散（BIRD）模型，解释了扩散模型如何通过限制信息来泛化，并确定了记忆与泛化之间的相界。另一项工作 D2PO 使用动态偏好学习优化扩散采样器，提高了感知质量，性能优于基于回归的方法。此外，一种名为 CO-ALIGN 的新方法使用概念图对齐来减少文本到图像模型中的偏差，同时保持生成完整性。其他研究还探讨了扩散采样中的数值稳定性和强化学习中扩…
-
随机矩阵理论框架扩展了深度学习模型的分析
本文介绍了一个名为高维等价的新框架，该框架扩展了随机矩阵理论（RMT）以分析非线性机器学习模型，如深度神经网络（DNNs）。该框架解决了高维性、非线性以及过参数化模型中通用特征谱函数分析带来的挑战。该研究为各种网络类型的训练和泛化性能提供了精确的表征，捕捉了诸如缩放定律、双下降和非线性学习动态等现象。
-
新 PCA 方法利用 Knockoff 扰动解决均值漂移噪声
研究人员开发了一种名为 Mean-Shift PCA by Knockoff Mean 的新方法，以解决主成分分析 (PCA) 中的噪声问题。该技术引入了刻意的扰动来识别和去除均值漂移污染，这会严重扭曲 PCA 结果，尤其是在高维数据中。所提出的算法利用随机矩阵理论的工具来证明噪声分量的谱可分性，并保持原始特征空间的稳定性。
-
随机矩阵理论检测神经网络和大型语言模型中的过拟合
研究人员开发了一种新颖的方法，使用随机矩阵理论来检测神经网络中的过拟合，特别是在长时程训练的“反领悟”阶段。该技术通过分析随机权重矩阵中与Marchenko-Pastur分布的偏差来识别模型层中的“相关性陷阱”。研究发现，随着测试准确率下降而训练准确率保持高位，这些陷阱会增加，重要的是，一些大型语言模型也表现出类似的陷阱，这表明可能存在有害的过拟合。