Stiefel manifold
PulseAugur coverage of Stiefel manifold — every cluster mentioning Stiefel manifold across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
ManifoldFlow为神经网络权重引入可学习的奇异谱
研究人员引入了ManifoldFlow，一种新颖的方法，它放宽了传统神经网络中Stiefel层的约束。这种新方法允许可学习的奇异值，为神经网络权重的谱控制提供更大的灵活性。ManifoldFlow在循环语言模型投影以及其他需要正交基的序列、表格和图像实验中，相比固定奇异谱的Stiefel层表现出改进。
-
新方法解决低秩持续学习中的知识遗忘问题
研究人员已确定谱不平衡是预训练模型低秩持续适应过程中知识遗忘的关键因素。他们提出了一种新方法，将任务更新的幅度与其方向结构解耦，并将其表述为在Stiefel流形上的约束优化问题。该方法与视觉语言模型中使用的标准深度学习优化器兼容，旨在减轻向后遗忘和向前遗忘，并在持续学习基线方面表现出比现有方法更好的性能。
-
物理约束神经网络加速AR眼镜光学分析
研究人员开发了一种物理约束神经网络（PCNN），旨在快速预测严格耦合波分析（RCWA）的输出。这种新颖的方法通过使用可微分对称正交化将输出投影到Stiefel流形上来强制能量守恒作为基本约束。通过将其应用于旨在用于增强现实眼镜的衍射波导组合器的逆设计中，证明了PCNN的有效性。
-
新方法解决了 NP-hard 的大规模数据集多样性选择问题
研究人员开发了一种名为 Spectral DPPs via NEPv 的新方法，以解决从大型数据集中选择多样化、高质量子集这一 NP-hard 问题。该方法将 Determinantal MAP 目标重塑为 Stiefel 流形上的连续优化问题，从而得到一个具有特征向量依赖性的非线性特征值问题 (NEPv)。提出的求解器 OurMethod 提供了一种可扩展的解决方案，可与常见的机器学习核集成，并且在候选池大小上接近线性扩展。
-
新的镜像下降框架将优化扩展到黎曼流形
研究人员开发了一个广义的黎曼流形上镜像下降（MD）框架，将其适用性扩展到复杂的优化问题。这个新的黎曼镜像下降（RMD）框架包含一个随机变体，并提供非渐近收敛保证。当应用于Stiefel流形时，RMD框架简化为曲边梯度下降（CGD），其随机扩展有效地解决了大规模流形优化问题。
-
新方法通过潜在空间推断和流形搜索解决黑盒优化问题
研究人员开发了一种新的约束黑盒优化方法，将问题重新表述为生成模型潜在空间内的后验推断。该方法利用流模型和扩散模型来有效地搜索满足复杂约束的最优解。另外，还引入了一个名为 BOOOM 的框架，用于斜交流形上的损失函数无关的黑盒优化，该框架利用新颖的基于旋转的参数化进行无导数搜索。
-
研究人员提出用于Stiefel流形优化的新型二阶方法
研究人员开发了一种用于Stiefel流形的新型二阶优化方法，该方法避免了回缩，为高精度要求提供了更高的效率。该方法结合了切向分量以减小目标函数，以及使用牛顿-舒尔茨迭代进行正交化的法向分量，以减小不可行性。数值实验表明，与正交Procrustes和主成分分析等问题上的现有方法相比，该方法表现出优越的性能。