实体
DMuon
DMuon
PulseAugur coverage of DMuon — every cluster mentioning DMuon across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的优化器 DMuon 和 HiMuon 提升 AI 训练效率 · 已追踪 6 个来源
研究人员开发了两种新的优化技术 DMuon 和分层 Muon (HiMuon)，以提高基于矩阵正交化的优化器（如 Muon）的效率。DMuon 可集成到现有训练流程中，显著加快基础模型和大型语言模型的训练速度，将延迟接近 AdamW 水平。而 HiMuon 则采用分块方法进行 Newton-Schulz 更新，减少计算量，并实现 transformer 训练的高效 GPU 利用。此外，Tensorion 被引入作为 Muon 的张量感…
-
X Square Robot 发布具有开放代码和真实机器人测试的 4B VLA 模型
X Square Robot 发布了 Wall-OSS-0.5，一个拥有 40 亿参数的视觉-语言-动作 (VLA) 模型。该模型构建在 30 亿参数的视觉-语言模型骨干之上，并使用 Transformer 混合架构整合了动作专家。值得注意的是，该研究在微调前对模型在真实机器人上的性能进行了评估，展示了强大的零样本能力以及在任务特定适应后的显著改进。