小米发布了其MiMo大语言模型家族,最新版本MiMo-V2.5-Pro拥有万亿参数。这些模型以其MIT许可下的开放权重状态和原生的全模态能力而闻名,能够处理文本、图像、视频和音频。MiMo-V2.5-Pro采用了稀疏专家混合架构,在总计1.02万亿参数中,每个token有420亿活跃参数,并支持高达100万token的上下文窗口。 AI
影响 此次发布表明开放权重模型现已能够达到万亿参数规模,有可能使先进的AI能力更加普及。
排序理由 该集群详细介绍了主要科技公司发布的新型大规模语言模型家族,包括具体的参数数量和架构细节。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
- GraphWalks
- MiMo
- MiMo-7B
- MiMo-Audio
- MiMo-Embodied
- MiMo-V2.5
- MiMo-V2.5-ASR
- MiMo-V2.5-Pro
- MiMo-VL
- MXFP4
- Xiaomi
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →