研究人员开发了 LiST,一种用于测试时 LoRA 融合的新颖框架,该框架可根据特定输入动态调整 LoRA 适配器。该方法从 LoRA 适配器库中创建一个目标条件局部单形,从而在推理过程中搜索样本特定的融合权重。LiST 构建联合任务表示,并使用各种约束下的提示级能量来选择候选权重,如果未满足接受规则,则回退到先验。实验表明,LiST 在多模态和语言基准测试中优于静态合并和传统的测试时适应方法,在保持适配器效用的同时增强了新任务的鲁棒性。 AI
影响 这项研究通过实现预训练组件的动态专业化,有望带来更具适应性和鲁棒性的 AI 模型。
排序理由 该集群包含一篇详细介绍 LoRA 融合新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →