开发者们正在讨论他们使用 Mistral Medium 3.5 (128b dense) 模型的心得，特别是其量化到 3 位后的性能。一位用户报告称，尽管最初对量化级别有所顾虑，但该模型的 3 位量化版本在其项目中表现良好，能够识别出他们常用模型忽略的问题。用户承认其速度不如 Mixture-of-Experts 模型，但认为其速度可以满足其需求，在特定的 KV 缓存和量化设置下，大约能达到每秒 8 个 token。 AI
影响 提供用户对特定大型密集模型性能和可用性的见解，为开发者的选择提供信息。
排序理由 用户对特定模型版本的讨论和轶事经验，并非官方发布或基准测试。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
