研究人员开发了一种名为Prox的新型无训练方法，通过稀疏化其前馈网络（FFNs）来提高大型语言模型（LLMs）的效率。Prox利用SwiGLU激活的中间状态作为通道选择信号，并对其进行近似以降低计算成本。这种方法可以在模型质量没有显著下降的情况下实现FFN的稀疏执行，在各种LLM上优于现有的无训练方法，并实现了显著的加速。 AI
影响 该方法通过优化大型语言模型的计算路径，可以显著降低其推理成本和延迟。
排序理由 详细介绍LLM效率新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
