QTIP
PulseAugur coverage of QTIP — every cluster mentioning QTIP across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的 CPTC 量化格式实现近乎最优的张量压缩
研究人员开发了一种名为计算排列网格编码 (CPTC) 的新型低比特量化格式,可实现近乎最优的张量压缩。CPTC 通过联合编码值来实现这一点,使其比独立量化每个值的方法更接近信息论的理想值。CPTC 解码器效率很高,使用小型查找表和简单的计算,并已集成到 AWS Trainium 4 AI 加速器中。
-
ExLlamaV3 和 TabbyAPI 支持在消费级硬件上本地部署 LLM
ExLlamaV3 和 TabbyAPI 已发布,为在消费级硬件上本地运行大型语言模型提供了新功能。ExLlamaV3 引入了一种名为 EXL3 的优化量化方法,该方法基于 QTIP,允许 CPU 卸载以管理具有有限 GPU 资源的模型。TabbyAPI 作为 ExLlamaV3 的官方 API 服务器,提供工具/函数调用和连续批处理等功能,但它被标记为一个业余项目。
-
新的 LLM 量化方法提高了效率和准确性
研究人员开发了新的技术,通过量化来提高大型语言模型(LLM)的效率,量化是一个减少模型大小并加速推理的过程。SignRot 是一种新颖的方法,通过在 Hadamard 行内统一符号来解决离群激活的挑战,从而在 Llama3 70B 等模型上获得更好的性能。另外,GSQ 利用 Gumbel-Softmax 采样进行高精度低精度标量量化,缩小了简单标量方法和更复杂的向量量化方法之间的差距。另一篇论文探讨了用于 1 位 LLM 量化的保持几…
-
CoS-VQ 方法通过联合索引-尺度优化提升 LLM 效率
研究人员推出了一种新颖的向量量化方法 CoS-VQ,旨在提高大型语言模型 (LLM) 的效率。该技术通过联合优化码字索引及其共享尺度来优化低比特权重量化,解决了可能阻碍传统方法的尺度诱导耦合的挑战。在 Qwen3.8-27B 模型上进行的语言建模、编码和推理任务测试中,CoS-VQ 的性能优于 QTIP 和 LLVQ 等现有方法。
-
使用2位量化技术将AI模型尺寸削减85%
一篇技术博文详细介绍了一种将AI模型(特别是Qwen3-4B模型)尺寸显著减小85%,同时保留其90%性能的方法。该技术涉及2位量化,将每个权重的可能值从256(对于8位)减少到仅4。博文解释了三种缓解精度损失的关键技巧:旋转权重以减少异常值,在量化过程中使用误差反馈以确保误差相互抵消,以及采用格子编码(trellis coding)来增加内存并扩展有效码本大小。
-
新的大型语言模型量化技术提高了效率和准确性 · 已追踪 5 个来源
研究人员正在开发新的方法来量化大型语言模型(LLM),以减小其尺寸并提高推理速度。项目 [1] 介绍了分布鲁棒量化(DRQ),这是一种优化过程,可最大限度地减少不同激活分布下的最坏情况重建损失,从而改进现有方法量化的模型。项目 [2] 提出了 CurveTQ,一种无旋转的网格量化技术,它将层 Hessian 纳入其搜索指标,实现了比以前的方法更高的下游准确性。项目 [3] 提出了 AlignQuant,它将量化精度分配与 GPU 兼容…
-
新方法提升2位LLM权重解码效率
研究人员开发了一种新颖的2位LLM权重多壳解码方法,旨在提高效率和质量。所提出的方法包括离线扩展到GPU布局以及一个融合的解量化加矩阵向量乘内核,以最小化warp发散。该方法与各种位精确布局进行了测试,在恒定带宽下展示了在大小和速度方面的性能提升,并与FP16等更高精度格式相比显示出有竞争力的结果。
-
新的LLM压缩技术利用了先进的数学和图像适应性
研究人员正在开发先进的大型语言模型(LLM)压缩技术,以降低其计算和存储需求。一篇论文介绍了Leech Lattice Vector Quantization (LLVQ),该技术利用高维格进行最优球体打包,以实现最先进的压缩性能。另一种方法LACE-SVD使用有损奇异值分解和累积误差校正,在保持模型精度的同时提高压缩率。对于图像压缩,LUMI框架提供了一种与分词器无关的方法,使用冻结的LLM骨干网络,将像素数据适应LLM的嵌入空间,…