Stiefel manifold
PulseAugur coverage of Stiefel manifold — every cluster mentioning Stiefel manifold across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
新的COEC框架提高了LLM剪枝的准确性
研究人员开发了一个名为COEC（Calibrated Orthogonal-Equivalence Compensation）的新的无训练框架，旨在减轻结构化剪枝后大型语言模型（LLMs）的准确性下降问题。COEC采用交替的左右正交旋转来处理保留的权重，在缩减的Stiefel流形上进行优化，并使用广义交叉验证进行正则化。在Llama-3、Llama-3.1和Qwen2.5模型上的实验表明，与现有的补偿方法相比，COEC在困惑度和零样本…
-
新研究探索对角线多组学整合方法
一篇新发表在arXiv上的论文介绍了几种整合异构数据集的方法，特别关注多组学数据。该研究深入分析了生物异质性，并开发了在复杂欧几里得空间内使用同胚于Stiefel流形的集合上的耦合拉普拉斯算子进行分析的方法。作者还基于最大化问题的梯度上升法推导出的最大值和最小值点之差的范数，提出了一种新的数据集异质性特征。
-
新的量子反馈控制方法使用物理信息神经网络记忆
研究人员开发了一种名为 Kraus-Parameterized Belief Reinforcement Learning 的新方法，用于量子反馈控制。该方法使用一个约束在 Stiefel 流形上的循环编码器来生成物理上始终有效的精确密度矩阵估计。然后，一个 Proximal Policy Optimization 演员利用这些信念状态来指导连续控制动作。在模拟中，该方法证明了对受监控量子比特的稳定反馈控制，实现了约 0.77-0.8…
-
新的 arXiv 论文探讨机器学习的优化算法
两篇新的 arXiv 论文探讨了机器学习优化算法的进展。第一篇论文介绍了流形约束最速下降法 (MCSD) 及其切线投影变体 (MCSD-TP)，用于最小化复杂可行集上的函数，并专门针对 Stiefel 流形提出了 SPEL 方法。第二篇论文为梯度下降法的步长加速设定了下界，证明了仅靠步长调度无法实现光滑凸优化的最优收敛速率。
-
新算法使量子模型超越经典HMM
研究人员开发了一种名为NS-RIS（基于牛顿-舒尔茨收缩的Stiefel流形推理）的新算法，用于学习隐藏量子马尔可夫模型（HQMM）。该方法旨在通过量子操作实现更丰富的潜在表示，以克服传统隐藏马尔可夫模型（HMM）的局限性。NS-RIS在合成和真实世界数据集上均表现出比现有的HQMM方法和使用期望最大化训练的经典HMM更优越的性能，显示出显著的改进。
-
新的Skewon算法在Stiefel流形上提供精确的闭式优化
研究人员开发了Skewon，这是一种用于处理具有正交列的矩阵问题的新的优化算法，这是机器学习中的常见结构。该算法为Stiefel流形上的Muon优化方法提供了精确的闭式解，克服了先前近似或迭代方法的局限性。Skewon还为平滑的非凸优化任务提供了高阶收敛保证，并且有高效的实现可用。
-
新框架增强降阶模型中的不确定性量化
研究人员开发了一种新的框架，用于量化非侵入式降阶模型（NIROMs）中的不确定性。该方法将降阶基的随机表示与共形风险控制技术相结合，以提供可靠的预测集。该方法在不重新训练高斯过程的情况下，将基引起的（basis-induced）不确定性与回归引起的（regression-induced）不确定性分开，从而更准确地评估模型可靠性，尤其是在外推场景中。
-
新研究探索用于LLM的优化LoRA微调方法 · 跟踪4个来源
研究人员正在探索优化低秩适配（LoRA）以微调大型语言模型的新方法。一种方法，统一LoRA（ULoRA），引入了一个可预训练梯度初始化的连续体，该连续体可以针对特定任务进行调整，潜在地匹配或超越完全微调的性能。另一种方法，Manifold-LoRA，将LoRA重新表述为流形优化问题，使用无回缩算法来加速训练并提高下游性能。此外，一种相似性度量方法侧重于仅微调最相关的层，在性能损失最小的情况下将可训练参数减少多达50%。最后，一个称为“…
-
新的PP-CPCANet框架通过稳定训练增强域泛化能力
研究人员推出了一种名为投影追求CPCANet (PP-CPCANet) 的新颖框架，旨在提高机器学习中的域泛化能力。该新方法解决了现有技术（如CPCANet）的局限性，这些技术在小批量训练过程中难以进行秩亏协方差估计。PP-CPCANet采用一种无协方差的方法，利用Cayley变换和专门的PP离散目标在Stiefel流形上优化全局正交基。在四个域泛化基准上的实验表明，PP-CPCANet通过稳定训练实现了最先进的性能。
-
新的贝叶斯框架集成了高斯过程模型降维功能
研究人员开发了一个新的贝叶斯框架，旨在解决高维输入的高斯过程（GP）建模的挑战。与传统的两阶段方法不同，这种新颖的方法将降维直接集成到GP建模和推理过程中。该框架利用具有Stiefel流形上先验的层次贝叶斯模型来确保投影矩阵的正交性，并通过Hamiltonian Monte Carlo实现后验推理。还提出了一个结合了内置降维的深度高斯过程（DGP）的扩展，为复杂数据集提供了更大的灵活性。虽然该方法需要更多的计算资源，但它展示了改进的预…
-
ManifoldFlow为神经网络权重引入可学习的奇异谱
研究人员引入了ManifoldFlow，一种新颖的方法，它放宽了传统神经网络中Stiefel层的约束。这种新方法允许可学习的奇异值，为神经网络权重的谱控制提供更大的灵活性。ManifoldFlow在循环语言模型投影以及其他需要正交基的序列、表格和图像实验中，相比固定奇异谱的Stiefel层表现出改进。
-
新方法解决低秩持续学习中的知识遗忘问题
研究人员已确定谱不平衡是预训练模型低秩持续适应过程中知识遗忘的关键因素。他们提出了一种新方法，将任务更新的幅度与其方向结构解耦，并将其表述为在Stiefel流形上的约束优化问题。该方法与视觉语言模型中使用的标准深度学习优化器兼容，旨在减轻向后遗忘和向前遗忘，并在持续学习基线方面表现出比现有方法更好的性能。
-
物理约束神经网络加速AR眼镜光学分析
研究人员开发了一种物理约束神经网络（PCNN），旨在快速预测严格耦合波分析（RCWA）的输出。这种新颖的方法通过使用可微分对称正交化将输出投影到Stiefel流形上来强制能量守恒作为基本约束。通过将其应用于旨在用于增强现实眼镜的衍射波导组合器的逆设计中，证明了PCNN的有效性。
-
新方法解决了 NP-hard 的大规模数据集多样性选择问题
研究人员开发了一种名为 Spectral DPPs via NEPv 的新方法，以解决从大型数据集中选择多样化、高质量子集这一 NP-hard 问题。该方法将 Determinantal MAP 目标重塑为 Stiefel 流形上的连续优化问题，从而得到一个具有特征向量依赖性的非线性特征值问题 (NEPv)。提出的求解器 OurMethod 提供了一种可扩展的解决方案，可与常见的机器学习核集成，并且在候选池大小上接近线性扩展。
-
新的镜像下降框架将优化扩展到黎曼流形
研究人员开发了一个广义的黎曼流形上镜像下降（MD）框架，将其适用性扩展到复杂的优化问题。这个新的黎曼镜像下降（RMD）框架包含一个随机变体，并提供非渐近收敛保证。当应用于Stiefel流形时，RMD框架简化为曲边梯度下降（CGD），其随机扩展有效地解决了大规模流形优化问题。
-
新方法通过潜在空间推断和流形搜索解决黑盒优化问题
研究人员开发了一种新的约束黑盒优化方法，将问题重新表述为生成模型潜在空间内的后验推断。该方法利用流模型和扩散模型来有效地搜索满足复杂约束的最优解。另外，还引入了一个名为 BOOOM 的框架，用于斜交流形上的损失函数无关的黑盒优化，该框架利用新颖的基于旋转的参数化进行无导数搜索。
-
研究人员提出用于Stiefel流形优化的新型二阶方法
研究人员开发了一种用于Stiefel流形的新型二阶优化方法，该方法避免了回缩，为高精度要求提供了更高的效率。该方法结合了切向分量以减小目标函数，以及使用牛顿-舒尔茨迭代进行正交化的法向分量，以减小不可行性。数值实验表明，与正交Procrustes和主成分分析等问题上的现有方法相比，该方法表现出优越的性能。