None Distilling Linearized Behavior into Non-Linear Fine-Tuning for Effective Task Arithmetic

新方法结合了线性与非线性微调技术用于大语言模型

作者 PulseAugur 编辑部 · [1 source] · 2026-05-25 04:00

研究人员开发了一种方法，将线性与非线性微调的优势结合起来用于大语言模型。他们的方法将线性化模型（适合模型合并等任务算术）的理想特性提炼到标准的非线性微调模型中。这使得在不增加纯线性化模型的推理成本的情况下，能够实现有效的任务组合和强大的基准测试性能。 AI

影响在不增加推理成本的情况下，能够更有效、更高效地在大语言模型中进行任务算术。

排序理由该集群包含一篇学术论文，详细介绍了微调语言模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 · Thomas Sommariva, Francesca Morandi, Simone Calderara, Angelo Porrello · 2026-05-25 04:00

Distilling Linearized Behavior into Non-Linear Fine-Tuning for Effective Task Arithmetic

arXiv:2605.18993v2 Announce Type: replace-cross Abstract: Task vector composition has emerged as a promising paradigm for editing pre-trained models, enabling model merging through addition and unlearning through subtraction. Fine-tuning in the tangent space of a pre-trained mode…