r/LocalLLaMA 子版块上的一场讨论探讨了当前大型语言模型的最佳量化方法。用户回忆起 q4 量化曾被认为是最好的，它在性能和 VRAM 使用之间取得了平衡，甚至被 Apple 用于设备上的应用程序。该帖子旨在确定是否有更新的量化技术在效率和质量上已经超越了 q4。 AI
排序理由 用户在子版块上讨论模型量化，而非主要来源发布或重大行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
LLaMA 用户讨论本地模型的最佳量化方法
报道来源 [1]
-
关于哪个量化模型被认为是最佳的，近期有什么新的进展吗？
<!-- SC_OFF --><div class="md"><p>I recall in earlier days, q4 was said to be optimal. </p> <p>That is to say, if you have a: </p> <p>small q8 model<br /> medium q4 model<br /> large q2 </p> <p>Assuming they use the same amount of GPU VRAM, medium q4 would be the best-performing …