实体
TinyViT
TinyViT
PulseAugur coverage of TinyViT — every cluster mentioning TinyViT across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的 Rank-1 iKFAD 优化器将 Transformer 预训练的内存减半
研究人员推出了一种新颖的优化技术 Rank-1 iKFAD (R-iKFAD)，旨在提高 Transformer 预训练的内存效率。该方法通过将 iKFAD 优化器的完整摩擦张量替换为秩为 1 的外积分解，将每层的内存占用从 O(mn) 显著降低到 O(m+n)。在 GPT2-Nano 和 DistilBERT 等各种模型上的实验表明，R-iKFAD 在性能上与原始 iKFAD 相当，同时将优化器的内存需求几乎减半。
-
新的自适应检查点技术可大幅减少视觉模型微调的GPU内存占用
研究人员开发了一种自适应检查点算法，以减少微调视觉模型和视觉语言模型（VLMs）所需的GPU内存。该方法在显存有限的消费级GPU上进行了测试，在可控的能耗开销下，显著降低了峰值内存使用量，最高可达79%。研究还比较了各种参数高效微调（PEFT）技术，发现QLoRA和BitFit在准确性略有下降的情况下能节省大量能源，而DINOv2等自监督模型在某些任务上的表现优于微调模型。