128b dense

开发者分享使用 Mistral Medium 3.5 (128b dense) 模型的心得

开发者们正在讨论他们使用 Mistral Medium 3.5 (128b dense) 模型的心得，特别是其量化到 3 位后的性能。一位用户报告称，尽管最初对量化级别有所顾虑，但该模型的 3 位量化版本在其项目中表现良好，能够识别出他们常用模型忽略的问题。用户承认其速度不如 Mixture-of-Experts 模型，但认为其速度可以满足其需求，在特定的 KV 缓存和量化设置下，大约能达到每秒 8 个 token。