PulseAugur
中
实时 09:24:46
English(EN) ReQuant: Fixed-Grid Discrete Refinement for Post-Training Quantization

ReQuant 在无反向传播的情况下精炼量化 LLM，提升性能

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了 ReQuant，一种新颖的训练后量化 (PTQ) 方法，可以在无需反向传播的情况下精炼现有的量化模型。该技术在固定网格上迭代地改进离散权重分配，减少重建误差并提高模型性能。实验表明，ReQuant 在各种架构和比特宽度上始终能提升量化模型的质量，甚至在应用于更简单的初始化时超越了 GPTAQ 等方法。 AI

影响 提供了一种即插即用的方法来改进现有的量化 LLM，有可能降低部署成本并提高可访问性。

排序理由 详细介绍模型优化新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

ReQuant 在无反向传播的情况下精炼量化 LLM，提升性能

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Yongge Ma, Guoan Wang, Feiyu Wang, Yaoming Li, Qian Zhang, Zihan Yan, Yinjun Han, Tong Yang ·

    ReQuant：用于训练后量化的固定网格离散精炼

    arXiv:2608.07019v1 Announce Type: new Abstract: Post-training quantization (PTQ) is widely used to reduce the memory and computational cost of large language models. Existing PTQ methods typically obtain an initial quantized model through heuristic rules or greedy optimization, a…

相关实体

相关话题