研究人员开发了一种名为RBDC的新训练协议,以提高训练大型视觉模型的可资源效率。该方法通过无参数的块对角线方式递归地耦合独立训练的、更窄的模型。在ImageNet上使用Vision Transformers和ResNets进行的评估表明,与现有的增长方法相比,FLOPs减少了30%,准确率相当,并且在相同的训练FLOPs下性能有所提高。RBDC训练的模型在作为对象检测和实例分割等下游任务的骨干网络方面也显示出增强的效用。 AI
影响 降低了训练大型视觉模型的计算成本,可能加速研究和部署。
排序理由 发布了一篇关于视觉模型新颖训练方法学的新学术论文。
- ImageNet
- Marc Van Droogenbroeck
- RBDC
- Recursive Block-Diagonal Coupling
- ResNet
- instance segmentation
- object detection
- Vision Transformers
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →