English(EN) Beyond Transfer Accuracy: Faithful Circuits for Controlled Low-Resource Adaptation

新的 CT-SFT 方法增强了低资源语言模型适应性

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-27 04:00

研究人员开发了一种名为“电路目标监督微调”（CT-SFT）的新方法，旨在改进语言模型的低资源适应性。该技术利用模型中发现的“电路”将参数更新限制在最相关的部分，从而最大限度地减少灾难性遗忘。在跨语言情感迁移任务上的实验表明，CT-SFT 在保持源语言性能方面优于传统微调方法，同时具有竞争力。 AI

影响这项研究通过减少灾难性遗忘等负面副作用，为微调语言模型（尤其是在低资源场景下）提供了一种更具针对性且可能更安全的方法。

排序理由该集群包含一篇详细介绍语言模型适应新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Khumaisa Nur'aini, Ayu Purwarianti, Alham Fikri Aji, Derry Wijaya · 2026-05-27 04:00

超越迁移准确性：用于受控低资源适应的忠实电路

arXiv:2601.08146v3 Announce Type: replace-cross Abstract: Existing circuit discovery methods rely on templated tasks with clean counterfactuals, limiting their use on diverse natural text. We adapt Contextual Decomposition for Transformers (CD-T) for unstructured settings via lab…