研究人员探索了两种不同的方法来优化持续学习模型（特别是在视觉 Transformer 中）中特定任务适配器的放置。一种方法是放置搜索，涉及在各种块配置中训练适配器，并观察到倒 U 形的准确率曲线，在中间深度达到峰值。另一种受神经科学启发的方法，利用来自视觉皮层的脑功能成像 (fMRI) 读出数据来指导适配器分配，无需广泛搜索，即可在减少存储和运行时间的情况下实现具有竞争力的性能。 AI
影响 这项研究通过优化适配器放置，减少存储需求和计算开销，有望实现更高效的持续学习模型。
排序理由 该集群包含一篇发表在 arXiv 上的研究论文，详细介绍了视觉 Transformer 中持续学习的新方法。 [lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- AugReg
- Bilora
- cs.CV
- functional magnetic resonance imaging
- Ibot
- Laurie S. Balistrieri
- Two Routes to the Middle: Placement Search and Brain Readouts Converge on Where Continual Learners Should Specialize
- vision transformer
- Visual Cortex
- ViT-B/16
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
