Bruno Lopes Yamamoto

新的 MoP 框架压缩 LLM，提高效率和准确性

研究人员开发了一个名为剪枝器混合（Mixture of Pruners, MoP）的新迭代框架，旨在通过减少参数数量和加速推理来压缩大型语言模型（LLM）。MoP 统一了深度和宽度剪枝，在每次迭代中选择最佳候选者来推进压缩路径。该方法在 LLaMA-2 和 LLaMA-3 模型上展示了优于现有结构化剪枝技术的准确性，在 40% 的压缩率下实现了 39% 的端到端延迟降低。该框架还成功应用于视觉语言模型 LLaVA-1.5，提高了其计算效率。