研究人员开发了自路由张量适配器(SRTA),这是一个用于跨不同领域参数高效适应视觉基础模型的新型框架。SRTA将输入投影到低秩空间,从该表示计算路由权重,并使用这些权重来融合共享的Tucker核,从而无需外部门控网络即可实现样本特定的适应。这种方法允许重用共享的视觉因素,同时支持领域感知的专业化。SRTA在多个基准测试中,与MoLoRA等现有方法相比,在准确性-参数权衡方面表现出竞争力,并且可训练参数数量显著减少。 AI
影响 为将视觉基础模型适应新领域提供了一种更有效的方法,有可能降低计算成本并提高泛化能力。
排序理由 详细介绍参数高效视觉模型微调新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →