DARE-TIES

新的TaDA算法可有效合并LoRA适配器

研究人员推出了一种名为TaDA的新算法，用于合并Transformer模型中特定任务和特定领域的LoRA适配器。与之前应用统一权重的旧方法不同，TaDA利用了任务适配器在浅层更强、领域适配器在深层更强的观察结果。该方法使用经过校准的探针引导门控和子空间感知合并，以创建统一的LoRA适配器，且没有推理开销。TaDA在多个科学问答和图像分类基准测试中表现出卓越的性能，优于现有的合并技术。