QK-Wanda

新的QK-Wanda方法通过耦合查询和键来改进LLM剪枝

研究人员开发了QK-Wanda，一种用于剪枝大型语言模型的新颖方法，它改进了现有的Wanda技术。QK-Wanda将线性投影中的查询和键耦合起来，与Wanda相比，显著降低了重建误差。虽然QK-Wanda比Wanda稍慢，但它在Llama 2 70B等模型上展示了实质性的下游性能提升，改善了困惑度和零样本准确率。然而，QK-Wanda的有效性因模型而异，如在Llama 3.1 70B上所示，这表明局部重建误差并不总是整体模型质量的完美预测指标。