ROCKET-ActCost

新的ROCKET-ActCost方法展示了大语言模型压缩的权衡

研究人员探索了一种压缩大语言模型（LLMs）的新方法，称为ROCKET-ActCost，该方法将分配成本与输出空间目标对齐。当应用于50%压缩的Qwen3-8B时，ROCKET-ActCost在零样本基准的平均准确率方面略有提高，但在WikiText困惑度方面有所升高。研究发现，不同的分配目标会导致准确率和困惑度之间的权衡，而权重空间和输出空间误差之间的相关性限制了这些方法的发散。