一项社区工作详细介绍了 DeepSeek V4 0731 模型的量化过程，识别并修正了两个影响其准确性的关键问题。研究人员发现，默认的转换过程导致与原始权重出现显著偏差，并且 llama.cpp 中特定于硬件的优化可能在不同 GPU 上产生不同的困惑度分数。为了解决这些发现，他们开发了一种使用 imatrix 和每张量覆盖的新量化方法，从而得到了一个更准确、更高效的模型，并推荐其 AD-IQ2_M 版本用于 128 GB 硬件。 AI
影响 为本地部署优化和评估大型语言模型提供了见解。
排序理由 社区驱动的特定模型版本分析和基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
