PulseAugur
实时 11:02:34
English(EN) Stochastic Rounding Increases Small Singular Values

新的量化方法提高了AI模型压缩和光谱性能

研究人员开发了新的模型量化方法,这是一种用于压缩AI模型的技术。一种名为YAQA的方法,为量化中的端到端误差界限提供了理论结果,其性能比GPTQ/LDLQ等现有方法提高了约30%,甚至超过了感知量化训练。另一项研究探索了随机舍入(SR),证明它是一种谱正则化器,不仅增加了矩阵的最小奇异值,还提升了频谱尾部整个奇异值簇。 AI

影响 这些量化方面的进步可能带来更高效的AI模型,减少存储和计算需求,从而在资源受限的设备上实现更广泛的部署。

排序理由 两篇学术论文介绍了AI模型量化技术的新研究。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Albert Tseng, Zhaofeng Sun, Christopher De Sa ·

    Model-Preserving Adaptive Rounding

    arXiv:2505.22988v3 Announce Type: replace-cross Abstract: The goal of quantization is to produce a compressed model whose output distribution is as close to the original model's as possible. To do this tractably, most quantization algorithms minimize the immediate activation erro…

  2. arXiv cs.LG TIER_1 English(EN) · Linkai Ma, Tingzhou Yu, Petros Drineas ·

    随机舍入增加了小的奇异值

    arXiv:2606.00312v1 Announce Type: cross Abstract: Over the past half-dozen years, stochastic rounding (SR) has regained significant attention as a quantization scheme for low-precision floating-point arithmetic, with applications spanning numerical analysis and modern machine lea…