MiMo-7B
PulseAugur coverage of MiMo-7B — every cluster mentioning MiMo-7B across labs, papers, and developer communities, ranked by signal.
-
新的训练后方法以更少的计算量提升大语言模型吞吐量
研究人员开发了一种新的语言模型多令牌预测（MTP）训练后方法，与传统的联合训练相比，显著降低了计算成本。该技术允许一个固定的推理模型在数学和编码等基准测试上，使用少得多的训练令牌，实现相当或甚至更好的吞吐量速度。该方法包括对草稿令牌验证规则进行链式感知松弛，以允许从骨干分布中有限的漂移，以及一个自适应控制器，在推理过程中动态调整MTP头的数量，恢复速度损失。
-
小米发布万亿参数MiMo大模型家族，权重开放
小米发布了其MiMo大语言模型家族，最新版本MiMo-V2.5-Pro拥有万亿参数。这些模型以其MIT许可下的开放权重状态和原生的全模态能力而闻名，能够处理文本、图像、视频和音频。MiMo-V2.5-Pro采用了稀疏专家混合架构，在总计1.02万亿参数中，每个token有420亿活跃参数，并支持高达100万token的上下文窗口。
-
像“MiMo”这样的模糊 API 请求需要结构化识别，以防止集成错误
文章讨论了当单个名称（如“MiMo”）可以指代多个不相关的产品时，API 请求的模糊性。它强调了一个常见的接收流程错误，即模糊地请求“MiMo AI API”被错误地视为一个完整的技术要求，导致在错误的服务上进行集成工作。作者提出了一个包含七个字段的结构化接收卡——名称、域、所有者、目的、文档、端点和状态——以清晰地识别正确的产品并防止浪费精力。
-
小米的MiMo-V2-Flash凭借高效的MoE架构引领开源编码基准测试
小米开发了MiMo-V2-Flash，一个拥有3090亿参数的混合专家（MoE）模型，在编码任务的SWE-Bench上领先于其他开源选项。该模型通过混合注意力（hybrid attention）和用于更快解码的多令牌预测模块（multi-token prediction module）等架构创新，以显著降低的计算成本实现了高性能。此外，一种名为多教师策略优化蒸馏（Multi-Teacher On-Policy Distillation…