ApexQuant

新的ApexQuant方法提供无数据LLM量化

研究人员开发了ApexQuant，一种新颖的无数据量化方法，通过递归量化残差误差来改进现有量化器。该技术允许在读取任何权重之前确定层数以达到目标错误率，每个前缀都充当一个较低速率的模型。ApexQuant以标量、E8和格子阶段实例化，已在开放权重LLM以及地球观测和医学领域得到验证，在四比特下实现了接近全精度的结果，并在无数据设置中提供了最佳的两比特性能。