实体
LDLQ
LDLQ
PulseAugur coverage of LDLQ — every cluster mentioning LDLQ across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的 KLQ 量化方法优化 LLM 位宽分配
一项名为 KLQ 的新研究项目，引入了一种用于量化大型语言模型的无训练方法。该方法测量嵌入空间的不均匀性，并根据 KL 散度测量的不同方向的重要性来最优地分配位宽。与依赖方差或可学习旋转的先前方法不同，KLQ 直接评估破坏特定方向的经验成本。虽然有效，但该方法计算量很大，需要多次前向传播才能量化模型。
-
新的量化方法提高了AI模型压缩和光谱性能
研究人员开发了新的模型量化方法，这是一种用于压缩AI模型的技术。一种名为YAQA的方法，为量化中的端到端误差界限提供了理论结果，其性能比GPTQ/LDLQ等现有方法提高了约30%，甚至超过了感知量化训练。另一项研究探索了随机舍入（SR），证明它是一种谱正则化器，不仅增加了矩阵的最小奇异值，还提升了频谱尾部整个奇异值簇。