研究人员开发了一种新的矩阵乘法量化噪声理论,通过元素级方差来表征量化格式。该理论产生了一个闭式信噪比定律和函数保持线性变换的上限。基于此分析,他们引入了KBBQ(Kappa-Braked Blockwise Quantization),一种参数化变换接近该理论上限程度的方法。KBBQ在多种模型和格式的FP4量化中表现出卓越的性能,在不增加计算成本的情况下超越了先前最先进的方法。 AI
影响 引入了一种新颖的量化技术,可能导致更高效的AI模型部署。
排序理由 详细介绍新量化方法和理论的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →