TinyViT

新的自适应检查点技术大幅降低视觉模型微调的GPU内存需求

研究人员开发了一种自适应检查点算法，以减少微调视觉模型和视觉语言模型（VLMs）所需的GPU内存。该方法在内存有限的消费级GPU上进行了测试，在可控的能耗开销下，将峰值内存使用量显著降低了高达79%。研究还比较了各种参数高效微调（PEFT）技术，发现QLoRA和BitFit在准确性略有下降的情况下提供了显著的节能效果，而DINOv2等自监督模型在某些任务上的表现优于微调模型。