PulseAugur
中
实时 06:54:50

新研究解决LLM量化鲁棒性和不确定性保持问题

作者 PulseAugur 编辑部 · [2 个来源] ·

两篇新研究论文探讨了在保持其性能和不确定性行为的同时，改进大型语言模型（LLMs）量化的方法。第一篇论文《Jacobian-guided Noise Injection for Quantization Robustness in Large Language Models》提出了一种训练策略，将高斯噪声注入预注意力logit中，其方差由雅可比矩阵弗罗贝尼乌斯范数确定，在图像和文本基准测试中显示出显著的收益。第二篇论文《Target-Aware Calibration Data Selection for Preserving Uncertainty in Quantized Language Models》引入了疑虑保留量化（DPQ），这是一种预量化技术，根据特定的部署目标选择校准数据，以在各种NLP任务中保持不确定性行为。 AI

影响 这些论文提供了新的技术，通过改进量化方法使LLMs更易于部署，从而可能带来更广泛的应用和更低的计算成本。

排序理由 两篇在arXiv上发表的学术论文，详细介绍了LLM量化的新颖方法。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新研究解决LLM量化鲁棒性和不确定性保持问题

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Deepanshu Pandey, Arnav Chavan, Nahush Lele, Sankalp Dayal, Deepak Gupta ·

    Jacobian-guided Noise Injection for Quantization Robustness in Large Language Models

    arXiv:2608.20988v1 Announce Type: cross Abstract: Quantization of Large Language Models (LLMs) is often hindered by the sensitivity of the self-attention mechanism to discretization errors. We identify the softmax operator as a bottleneck for quantization stability due to its sen…

  2. arXiv cs.AI TIER_1 English(EN) · Zhen Yang, Sizai Hou, Kaiwen Zheng, Yaofang Liu, Liang He, Yixuan Chen, Kangning Cui ·

    面向目标感知的校准数据选择以保留量化语言模型中的不确定性

    arXiv:2608.21019v1 Announce Type: cross Abstract: Quantization is widely used to deploy large language models, but its effect on uncertainty behavior, such as confidence, margins, and abstention, is rarely treated as a primary objective. We frame calibration-data selection for qu…

相关实体

相关话题