PulseAugur
中
实时 11:57:53
English(EN) Federated Compositional Muon Optimizer for Matrix-Wise Models

新的FedCoMuon优化器增强了分布式矩阵式模型优化

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种新颖的联邦组合式优化器FedCoMuon，旨在解决分布式矩阵式组合优化问题。该新方法基于组合梯度跟踪和正交化动量。还提出了一种方差缩减变体FedCoMuon-VR，与现有的FedMuon算法相比，它在找到ε-平稳解方面实现了O(ε−3)的较低样本复杂度。在联邦学习和风险敏感元学习中的实验表明，FedCoMuon和FedCoMuon-VR具有竞争力，并在某些场景下实现了卓越的准确性。 AI

影响 引入了一种更有效的分布式AI模型优化方法，有望提高复杂学习任务的性能。

排序理由 详细介绍新优化算法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的FedCoMuon优化器增强了分布式矩阵式模型优化

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Wang Yan, Feihu Huang ·

    用于矩阵式模型的联邦组合μ子优化器

    arXiv:2608.12710v1 Announce Type: new Abstract: Muon, a more recently developed optimizer, is useful for matrix-wise models in AI areas. Although many works have studied Muon and its variants, these methods are still not particularly well-suited for hierarchical structured proble…

相关实体

相关话题