QUASAR 发布了针对 Qwen 3.5、Gemma 4 和 Muse Glimmer 等多个大型语言模型的新 4 位量化检查点。这些检查点使用感知量化蒸馏进行训练,旨在实现比 Google 和 Nvidia 现有的 4 位版本更接近原始 BF16 模型的性能。基准测试表明,QUASAR 检查点在各种指标上通常优于参考模型,其中一些在性能上可与 BF16 模型相媲美甚至超越。 AI
影响 为在性能较低的硬件上运行大型语言模型提供了改进的性能和效率。
排序理由 发布量化模型检查点并进行基准测试比较。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →