LowRankArena

新的LLM压缩技术带来更小、更精确的模型

研究人员开发了新的方法来压缩大型语言模型（LLM），同时保持甚至提高其性能。一种方法是量化感知修复（QAH），它直接从原始未压缩模型中蒸馏出一个压缩的4位模型，从而得到一个更小、更精确、更高效的模型，在多个基准测试中优于其全精度对应模型。其他研究探索了激活加权种子残差编码（AWSRC）等技术来修复量化误差，以及一个名为“压缩三位一体”的统一框架，该框架联合应用稀疏性、量化和低秩近似来实现高效的LLM部署。此外，还创建了一个标准化的评估…