新研究质疑任务算术组合大型语言模型的可靠性

研究人员调查了任务算术组合微调语言模型的有效性，发现参数加法并不总是能转化为可预测的功能变化。他们的研究在 Qwen2.5-1.5B 和 Llama-3.1-8B 等模型上进行，结果显示，虽然某些任务组合表现出可预测的交互，但其他任务组合，特别是涉及指令式包装器或特定评估基准的任务组合，可能会导致这些功能陈述崩溃。研究结果表明，权重空间组合是依赖条件的，并且不是不同适应方法、规模和模型架构之间合并性能的通用预测因子。 AI

影响 调查了组合大型语言模型微调的局限性，建议在模型组合策略方面要谨慎。

排序理由 学术论文，详细介绍了关于大型语言模型任务向量组合的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• IArxiv
• Llama-3.1:8b
• Qwen2.5
• Qwen2.5-1.5B
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →