LoRAQuant

新的量化方法旨在降低LLM的计算成本

两篇新的研究论文介绍了一种量化大型语言模型（LLM）的新颖方法，以减少其计算足迹。LoRAQuant专注于低秩自适应（LoRA）适配器的混合精度量化，使用奇异值分解将重要信息集中到更高精度的组件中，同时将其余部分量化为超低比特宽度。ReRound通过采用具有条件扩散模型的重构舍入技术来解决无校准量化中的中点歧义，特别有利于较小的LLM，并优于标准的四舍五入到最近的方法。