PulseAugur
中
实时 11:40:44
English(EN) Motif 3: Technical Report

Motif Technologies 发布 314B 参数的 Motif 3 LLM

作者 PulseAugur 编辑部 · [5 个来源] ·

Motif Technologies 发布了 Motif 3，这是一款拥有 3140 亿总参数和每个 token 激活 132 亿参数的 decoder-only 混合专家（Mixture-of-Experts）语言模型。该模型采用了新颖的 Grouped Differential Latent Attention 架构，并在约 12.5 万亿个 token 上进行了训练。Motif 3 在与领先的开源模型相比时，表现出具有竞争力的性能，尤其在长时序代理任务、数学推理和科学知识方面表现出色。 AI

影响 为开源模型树立了新的基准，尤其是在代理任务和推理方面，可能影响未来的模型开发。

排序理由 关于新大型语言模型发布的技术报告及相关材料。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 5 个来源。 我们如何撰写摘要 →

Motif Technologies 发布 314B 参数的 Motif 3 LLM

报道来源 [5]

  1. arXiv cs.AI TIER_1 English(EN) · Junghwan Lim, Joon Son Chung, Sungmin Lee, Wai Ting Cheung, Gihun Cho, Minsu Ha, Sangho Kang, Beomgyu Kim, Dongseok Kim, Jangwoong Kim, Taehyun Kim, Taewhan Kim, Jeesoo Lee, Jeongdoo Lee, Junhyeok Lee, Dongpin Oh, Hyeyeon Cho, Dahye Choi, Jaeheui Her, Ha… ·

    Motif 3: 技术报告

    arXiv:2608.09119v1 Announce Type: new Abstract: We introduce Motif 3, a decoder-only Mixture-of-Experts language model with 314 billion total parameters and 13.2 billion activated per token. Each sparse MoE layer contains 384 routed experts, with eight selected per token. This fi…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    Motif 3: 技术报告

    We introduce Motif 3, a decoder-only Mixture-of-Experts language model with 314 billion total parameters and 13.2 billion activated per token. Each sparse MoE layer contains 384 routed experts, with eight selected per token. This fine-grained sparsity provides substantial expert …

  3. Hugging Face Daily Papers TIER_1 English(EN) ·

    Motif 3: 技术报告

    We introduce Motif 3, a decoder-only Mixture-of-Experts language model with 314 billion total parameters and 13.2 billion activated per token. Each sparse MoE layer contains 384 routed experts, with eight selected per token. This fine-grained sparsity provides substantial expert …

  4. Hugging Face Trending Models TIER_1 English(EN) · Motif-Technologies ·

    Motif-Technologies/Motif-3

    text-generation · 0 downloads · 72 likes

  5. r/LocalLLaMA TIER_1 English(EN) · /u/Lucidstyle ·

    Motif-Technologies/Motif-3 正式发布

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1vkl6cs/motiftechnologiesmotif3_official_realese/"> <img alt="Motif-Technologies/Motif-3 official realese" src="https://external-preview.redd.it/qWM7gf23D_GVD3xaqqk_1gvttXm2279-V9JFKzzDRDw.png?width=640&amp;cr…

相关实体

相关话题