研究人员推出了一种新颖的低秩自适应 (LoRA) 优化方法 SQUELCH，用于大型语言模型。SQUELCH 基于噪声地板分析动态调整每个 token 的活跃 LoRA 组件数量，而不是使用固定数量。这种方法不增加可训练参数，在常识推理、知识、数学、代码和 GLUE 等各种基准测试中，相比标准 LoRA 提升了 2.2-3.2 个点，相比其他专家混合基线提升了 0.8-1.2 个点。该方法在 LLaMA-3.1-8B、Qwen3 和 DeBERTaV3 等模型上进行了测试，每个 token 平均激活 32 个组件中的 8.6 个。 AI
影响 这项研究通过优化自适应过程，可能带来更高效、性能更强的大型语言模型。
排序理由 学术论文，详细介绍了一种优化 LLM 适配器的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
