实体
Q5_K
Q5_K
PulseAugur coverage of Q5_K — every cluster mentioning Q5_K across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
如何在 llama.cpp 中公平比较量化大语言模型
本文提供了一份使用 llama.cpp 精确比较量化大语言模型（LLMs）的指南。文章强调了按字节匹配文件大小的重要性，而不仅仅是量化标签，因为标签可能无法准确反映实际的比特表示。该指南还强调了保持测试参数一致的必要性，包括使用的文本、上下文窗口大小和评分模式，以确保困惑度（perplexity）和性能的公平比较。
-
ExTernD 技术在较低比特宽度下为 LLM 提供接近 bf16 的精度 · 跟踪 4 个来源
研究人员开发了 ExTernD，一种用于大型语言模型 (LLM) 的新型训练后量化技术。该方法将 LLM 权重矩阵分解为三元因子和一个对角缩放向量，从而扩展了内部秩以纠正量化误差。ExTernD 在 Gemma-4-E2B 和 Qwen3.5-4B 等模型上，展示了与 Q4_K 和 Q5_K 等更高比特宽度量化方法相当的精度，同时保持了高效的内存和计算使用。