DyTox

新的 DRDN 方法增强了 ViT 类增量学习

研究人员开发了一种名为解耦表示动态网络（DRDN）的新方法，以改进 Vision Transformer（ViT）模型中的类增量学习（CIL）。DRDN 通过使用掩码图像建模（MIM）来保留骨干网络中的通用视觉结构，并通过分层任务令牌扩展来减少任务间干扰，从而解决了跨任务混淆和欠优化的共享表示等挑战。在 CIFAR100-B0 经过 10 个步骤的实验中，DRDN 实现了 77.19% 的平均准确率，优于 DKT 和 DyTox 等现有方法。