Laurie S. Balistrieri

新研究探讨视觉 Transformer 中适配器放置的最优解

研究人员探索了两种不同的方法来优化持续学习模型（特别是在视觉 Transformer 中）中特定任务适配器的放置。一种方法是放置搜索，涉及在各种块配置中训练适配器，并观察到倒 U 形的准确率曲线，在中间深度达到峰值。另一种受神经科学启发的方法，利用来自视觉皮层的脑功能成像 (fMRI) 读出数据来指导适配器分配，无需广泛搜索，即可在减少存储和运行时间的情况下实现具有竞争力的性能。