研究人员开发了OPTIMA,一种新颖的大型语言模型(LLM)单次剪枝方法,可在准确性和计算可行性之间取得平衡。该方法将层级权重重建构建为独立的、逐列的二次规划问题,这些问题可以高效地批量处理并在加速器上求解。OPTIMA在LLaMA和Gemma模型的各种稀疏度水平上均展现出改进的零样本准确率,其性能优于启发式方法,同时在各自的掩码上可与精确重建技术相媲美。 AI
影响 通过在不显著损失准确率的情况下降低推理成本,从而实现更高效的LLM部署。
排序理由 关于LLM剪枝新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →