研究人员推出了一种新颖的框架sLoTh,专为稀疏事件驱动型视觉Transformer的参数高效持续学习而设计。该方法冻结模型骨干,并将可塑性集中在低秩注意力更新和神经元阈值调制上,仅需更新不到1%的参数。在CIFAR-100和ImageNet变体等各种数据集上的实验表明,在无需重放缓冲区的情况下,在类别增量和在线持续学习场景中均取得了有竞争力的性能。值得注意的是,与传统的密集视觉Transformer相比,sLoTh实现了约6.5倍的低能耗。 AI
影响 这项研究为视觉Transformer的持续学习提供了一种更节能的方法,有可能在资源受限的机器人和边缘智能系统中实现更广泛的部署。
排序理由 该集群描述了一篇新发表在arXiv上的研究论文,详细介绍了一种用于计算机视觉持续学习的新颖框架。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- CIFAR-100
- Hugging Face
- ImageNet-100
- ImageNet-R
- seLoRA
- sLoTh
- Tiny-ImageNet
- Vaishnavi Nagabhushana
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →