实体
CoQuant
CoQuant
PulseAugur coverage of CoQuant — every cluster mentioning CoQuant across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的 KLQ 量化方法优化 LLM 位宽分配
一项名为 KLQ 的新研究项目，引入了一种用于量化大型语言模型的无训练方法。该方法测量嵌入空间的不均匀性，并根据 KL 散度测量的不同方向的重要性来最优地分配位宽。与依赖方差或可学习旋转的先前方法不同，KLQ 直接评估破坏特定方向的经验成本。虽然有效，但该方法计算量很大，需要多次前向传播才能量化模型。
-
CoQuant论文介绍联合投影以实现高效大语言模型混合精度量化
研究人员推出了一种用于大语言模型（LLM）混合精度量化 的新方法 CoQuant。该技术通过联合考虑权重和激活统计信息来识别高精度保留的关键子空间，从而解决了现有方法的局限性。CoQuant 利用理论建模的误差和加权 PCA 解决方案来平衡这些协方差，旨在更有效地降低推理成本。在 Llama-3.2 和 Qwen2.5 模型上的实验表明，与当前的训练后量化基线相比，CoQuant 在困惑度和推理准确性方面表现更优。