Empirical Fisher

LaMoC 方法使用感知损失统计数据增强 LLM 压缩

研究人员开发了 LaMoC，一种通过专注于感知损失模块化压缩来压缩大型语言模型 (LLM) 的新方法。与之前主要使用激活统计数据的方法不同，LaMoC 结合了经验 Fisher 统计数据，以更好地使局部模块重建误差与下游损失保持一致。这种方法旨在减少模型参数，同时保持或提高语言理解和任务准确性。对各种模型的评估表明，与现有的最先进的压缩技术相比，LaMoC 在困惑度和任务准确性方面表现更好。