Euclidean geometry
PulseAugur coverage of Euclidean geometry — every cluster mentioning Euclidean geometry across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新理论将状态空间模型训练视为最优控制
研究人员开发了一个新的理论框架来理解状态空间模型（SSMs）的训练动态。通过将连续时间SSM参数优化构建为集成最优控制问题，他们通过状态轨迹和共享控制参数来分析训练过程。这种方法揭示了哈密顿梯度代表目标的一阶变分密度，从而产生了一个Bregman镜像下降方案，在欧几里得几何中简化为函数投影梯度下降。稳定性分析表明，在充分正则化下，最优控制问题存在唯一的最小值，并确定了SSMs的具体收敛速率。
-
新的GGBPL方法增强了复杂非凸问题的优化能力
研究人员引入了一种名为广义几何块近邻线性化（GGBPL）的新优化方法，旨在解决复杂的多块非凸和非光滑优化问题。与在标准欧几里得几何中运行的现有方法不同，GGBPL采用广义几何方法，允许更自适应的块变量更新。这种基于任意内积和一般容许度量的自适应旨在提高数值效率。该论文还提出了一个惯性版本iGGBPL，并提供了理论收敛保证，包括达到$\varepsilon$-平稳点的迭代复杂度界限。该方法成功应用于稀疏非负矩阵分解和CP分解问题，与最先…
-
新的MOON方法使用矩阵几何优化多任务学习
研究人员推出了一种新颖的多任务学习方法MOON（Multi-Objective OrthoNormalized Updates），该方法解决了现有方法的局限性。与先前将模型参数展平为向量并在欧几里得几何中进行操作的技术不同，MOON考虑了Transformer等架构中固有的矩阵结构。这是通过在谱-核范数几何下进行梯度操作来实现的，从而在各种基准测试中实现更有效的优化和改进的多任务性能。
-
Fisher8方法利用Fisher几何学稳定神经网络回归
研究人员推出Fisher8，一种用于稳定异方差回归神经网络的新颖方法。该技术利用Fisher几何学重新定向和重新缩放梯度更新，解决了损失景观对齐问题。与以往的稳定工作不同，Fisher8提供了近似KL信任半径，并在各种任务中展示了改进的似然-误差权衡、校准的不确定性预测和增强的特征学习。