研究人员探索了一种压缩大语言模型（LLMs）的新方法，称为ROCKET-ActCost，该方法将分配成本与输出空间目标对齐。当应用于50%压缩的Qwen3-8B时，ROCKET-ActCost在零样本基准的平均准确率方面略有提高，但在WikiText困惑度方面有所升高。研究发现，不同的分配目标会导致准确率和困惑度之间的权衡，而权重空间和输出空间误差之间的相关性限制了这些方法的发散。 AI
影响 这项研究突显了大语言模型压缩中潜在的权衡，表明针对一个指标进行优化可能会对其他指标产生负面影响。
排序理由 该集群包含一篇详细介绍大语言模型压缩方法实证研究的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.27785v1 Announce Type: cross Abstract: Training-free compression methods for large language models (LLMs) often use calibration data to guide compression decisions. ROCKET, a recent method combining sparse-dictionary factorization with multi-choice knapsack problem (MC…
Training-free compression methods for large language models (LLMs) often use calibration data to guide compression decisions. ROCKET, a recent method combining sparse-dictionary factorization with multi-choice knapsack problem (MCKP) allocation, derives its per-layer factorizatio…