实体
AQLM
AQLM
PulseAugur coverage of AQLM — every cluster mentioning AQLM across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
研究发现：量化对代码生成模型影响不同
一项新研究调查了各种量化方法对大型代码生成模型在资源受限硬件上运行时性能的影响。研究人员使用 Python 和 Java 基准测试，在 Qwen2.5-Coder 和 CodeLlama 模型上评估了包括 GPTQ、AWQ 和 AQLM 在内的六种最先进技术。研究结果表明，量化方法对代码的正确性和质量有显著且不同的影响，其中 AQLM 的表现与全精度模型相当，而 QuIP# 的性能下降最大。
-
新方法通过谱旋转大幅降低大模型量化比特宽度
研究人员开发了一种名为BBT-spectral的新方法，用于将大语言模型（LLM）量化到极低的比特宽度，特别是W2A16（2比特权重，16比特激活）。该技术利用受影响启发式谱旋转和重建误差量化器，显著降低了困惑度，在各种模型尺寸上比普通自动舍入量化性能高出15-58%。该方法已扩展到解决Qwen3和Qwen2.5等模型的特定架构挑战，证明了其在不同大模型家族中的适应性和有效性。