PulseAugur
中
实时 07:56:04
English(EN) Efficient PEFT Methods with Adaptive Checkpointing for Vision Models and VLMs on Resource Constrained Consumer-GPUs

新的自适应检查点技术可大幅减少视觉模型微调的GPU内存占用

作者 PulseAugur 编辑部 · [3 个来源] ·

研究人员开发了一种自适应检查点算法，以减少微调视觉模型和视觉语言模型（VLMs）所需的GPU内存。该方法在显存有限的消费级GPU上进行了测试，在可控的能耗开销下，显著降低了峰值内存使用量，最高可达79%。研究还比较了各种参数高效微调（PEFT）技术，发现QLoRA和BitFit在准确性略有下降的情况下能节省大量能源，而DINOv2等自监督模型在某些任务上的表现优于微调模型。 AI

影响 使得在消费级硬件上更高效地微调视觉模型和VLMs成为可能，从而可能使更广泛的群体能够获得先进的AI能力。

排序理由 该条目是一篇研究论文，详细介绍了模型微调和评估的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →

新的自适应检查点技术可大幅减少视觉模型微调的GPU内存占用

报道来源 [3]

  1. Hugging Face Daily Papers TIER_1 English(EN) ·

    面向资源受限消费级GPU的高效PEFT方法与自适应检查点技术，适用于视觉模型和VLMs

    Modern pretrained vision models achieve strong accuracy but demand substantial GPU memory for fine-tuning, making edge deployment impractical. This paper compares five parameter-efficient fine-tuning (PEFT) methods (Full FT, LoRA, AdaLoRA, QLoRA, BitFit) on Transformers- (ViT-Sma…

  2. arXiv cs.CV TIER_1 English(EN) · Altay Toktassyn, Jurn-Gyu Park ·

    面向资源受限消费级GPU的高效PEFT方法及自适应检查点技术，用于视觉模型和VLMs

    arXiv:2607.02158v1 Announce Type: new Abstract: Modern pretrained vision models achieve strong accuracy but demand substantial GPU memory for fine-tuning, making edge deployment impractical. This paper compares five parameter-efficient fine-tuning (PEFT) methods (Full FT, LoRA, A…

  3. arXiv cs.CV TIER_1 English(EN) · Jurn-Gyu Park ·

    面向资源受限消费级GPU的高效PEFT方法与自适应检查点技术，用于视觉模型和VLMs

    Modern pretrained vision models achieve strong accuracy but demand substantial GPU memory for fine-tuning, making edge deployment impractical. This paper compares five parameter-efficient fine-tuning (PEFT) methods (Full FT, LoRA, AdaLoRA, QLoRA, BitFit) on Transformers- (ViT-Sma…

相关实体

相关话题