DARE-TIES

新的 TaDA 算法使用深度感知门控来合并 LoRA 适配器

研究人员推出了一种新算法 TaDA，用于合并 Transformer 模型中特定任务和特定领域的 LoRA 适配器。与之前应用统一权重的方​​法不同，TaDA 利用了任务和领域信号之间观察到的深度依赖不对称性。该算法使用校准的探针引导门控进行每层加权和子空间感知合并，以有效地组合适配器组件。这种无需训练的方法会产生一个标准的 LoRA 适配器，没有推理开销，并在科学问答和图像分类基准测试中表现出卓越的性能。