Self-Routed Tensor Adapters

新的SRTA方法提供了参数高效的视觉模型适应

研究人员开发了自路由张量适配器（SRTA），这是一个用于跨不同领域参数高效适应视觉基础模型的新型框架。SRTA将输入投影到低秩空间，从该表示计算路由权重，并使用这些权重来融合共享的Tucker核，从而无需外部门控网络即可实现样本特定的适应。这种方法允许重用共享的视觉因素，同时支持领域感知的专业化。SRTA在多个基准测试中，与MoLoRA等现有方法相比，在准确性-参数权衡方面表现出竞争力，并且可训练参数数量显著减少。