PulseAugur
中
实时 06:47:53
English(EN) SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers

SMELT 架构提高了 MoE Transformer 的训练效率

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了 SMELT，一种用于混合专家（MoE）Transformer 的新架构，可提高训练效率和下游性能。通过将 Transformer 的中间层循环两次，同时仔细匹配计算预算，SMELT 与基线模型相比，展示了更快的损失减少和显著的训练 FLOPs 节省。这种架构改进转化为在各种基准测试中更好的性能，尤其是在代码相关任务中，这归因于一种将注意力重定向到更相关标记的机制。 AI

影响 这项研究为提高 Transformer 的效率和性能提供了一个实用的方法，可能影响未来的模型开发和训练策略。

排序理由 该集群描述了一篇详细介绍 Transformer 新架构的最新研究论文。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

SMELT 架构提高了 MoE Transformer 的训练效率

本文如何被排名

Signal score
2 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Research
该集群描述了一篇详细介绍 Transformer 新架构的最新研究论文。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
paper, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
1 days old
Coverage has settled into its steady-state source set.

完整方法见我们的编辑标准。

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Shaowen Wang, Ge Zhang, Kairong Luo, Yuhao Wu, Shaofan Liu, Jiaheng Liu, Wenhao Huang, Shen Yan, Jian Li ·

    SMELT：面向计算匹配的MoE循环Transformer的扩展定律

    arXiv:2609.01343v1 Announce Type: new Abstract: Looped Transformers increase effective depth by iterating a shared block of layers, but most evaluations compare at fixed model size, conflating architectural advantage with extra FLOPs. We study looping on Mixture-of-Experts Transf…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    SMELT: 规模化定律用于计算匹配的MoE循环Transformer

    Looping middle layers in sparse Mixture-of-Experts Transformers improves training efficiency and downstream performance while matching per-token FLOPs, parameters, and cache budgets.

相关实体

相关话题