sloth

新的sLoTh框架为稀疏视觉Transformer实现节能的持续学习

研究人员推出了一种新颖的框架sLoTh，专为稀疏事件驱动型视觉Transformer的参数高效持续学习而设计。该方法冻结模型骨干，并将可塑性集中在低秩注意力更新和神经元阈值调制上，仅需更新不到1%的参数。在CIFAR-100和ImageNet变体等各种数据集上的实验表明，在无需重放缓冲区的情况下，在类别增量和在线持续学习场景中均取得了有竞争力的性能。值得注意的是，与传统的密集视觉Transformer相比，sLoTh实现了约6.5倍的低能耗。