研究人员开发了ApexQuant,一种新颖的无数据量化方法,通过递归量化残差误差来改进现有量化器。该技术允许在读取任何权重之前确定层数以达到目标错误率,每个前缀都充当一个较低速率的模型。ApexQuant以标量、E8和格子阶段实例化,已在开放权重LLM以及地球观测和医学领域得到验证,在四比特下实现了接近全精度的结果,并在无数据设置中提供了最佳的两比特性能。 AI
影响 这种无数据量化方法可以实现LLM在资源受限设备上的更高效部署。
排序理由 该集群描述了一篇关于LLM新颖量化方法的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →