研究人员开发了一种新的大型语言模型 (LLM) 剪枝方法，该方法超越了传统的压缩分数。这种方法称为“信息边界”，旨在通过分析每个统计量可以支持的区分来识别最有效的待移除参数。该方法对损害进行汇集价格建模，并使用圆锥定律来确定最佳剪枝策略，与现有参考方法相比，在最差组困惑度和端点选择方面有所改进。在 OLMoE 的实验中，使用路由器轨迹来预测单例方向，从而在特定层中实现了显著的 KL 减少。 AI
影响 这项研究通过改进剪枝技术，降低计算成本和内存需求，可能带来更高效的 LLM 部署。
排序理由 该集群包含一篇详细介绍 LLM 剪枝新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
