MiniMax AI 宣布其 M2.7 模型在速度上取得显著提升,创下了新的推理速度世界纪录。与 SambaNovaAI 合作,该模型在短上下文工作负载下达到了每秒 850 个 token,在长上下文工作负载下达到了每秒 450 多个 token。此性能由 Artificial Analysis 基准测试,并通过将 SambaNovaAI 的 H200 用于预填充和 SN50 RDUs 用于解码来实现。 AI
影响 设定了新的推理速度基准,可能提高 AI 应用的效率。
排序理由 该条目详细介绍了 AI 模型推理速度的新基准测试结果。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →