Motif Technologies发布了其大规模混合专家（MoE）语言模型Motif-3-Beta的测试版。该模型为内部开发，拥有约3140亿总参数，每个token有130亿活跃参数，并支持256,000个token的原生上下文长度。该模型采用稀疏路由机制，拥有384个专家，每个token激活8个专家加上一个共享专家。提供了与Transformers等流行库以及vLLM和SGLang等推理引擎集成的指令和代码，并支持Docker部署。 AI
影响 在长上下文基准测试中设定新的SOTA；给Upstage和SKT等竞争对手带来压力。
排序理由 Frontier-lab模型发布，带有系统卡[lever_c_demoted from frontier_release: ic=2 ai=1.0]
在 Hugging Face Trending Models 阅读 →
- A.X Series
- Deepseek V4 Pro
- EXAONE Series
- LG AI Research
- MiniMax-M3
- Motif 3 Beta
- Motif Technologies
- Solar Series
- Upstage
- Docker
- Google Colab
- Kaggle
- lmsysorg
- Motif-Technologies/Motif-3-Beta
- OpenAI
- SGLang
- transformers
- vLLM
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
