PulseAugur
中
实时 06:29:07
English(EN) Spotlight: Synergizing Seed Exploration and Spot GPUs for DiT RL Post-Training

Spotlight系统利用Spot GPU降低DiT RL训练成本

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了Spotlight，一个旨在显著降低强化学习任务中Diffusion Transformers (DiTs) 训练成本的新颖系统。Spotlight利用了对种子探索和Spot GPU使用的见解，使得探索可以在闲置的Spot GPU上使用略微过时的模型权重进行。该系统还引入了弹性序列并行，以便在抢占后快速重新配置GPU组，最大限度地减少停机时间。在Qwen-Image训练后进行的评估表明，Spotlight的训练速度比现有方法快四倍，可达到目标验证分数，成本降低了1.4倍至6.4倍，同时还提高了DeepSeek-OCR等数据集上的图像质量。 AI

影响 降低了训练先进AI模型所需的计算成本和时间，有可能加速图像生成等领域的研究和开发。

排序理由 该项目是一篇研究论文，详细介绍了一种提高AI模型训练效率的新系统和方法论。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Ruiqi Lai, Dakai An, Wei Gao, Ju Huang, Siran Yang, Jiamang Wang, Lin Qu, Dmitrii Ustiugov, Wei Wang ·

    Spotlight: Synergizing Seed Exploration and Spot GPUs for DiT RL Post-Training

    arXiv:2606.19004v1 Announce Type: cross Abstract: Reinforcement learning (RL) post-training of Diffusion Transformers (DiTs) is prohibitively expensive, requiring thousands of high-end GPUs. Existing works explore two directions to reduce cost: seed exploration improves training …

  2. arXiv cs.AI TIER_1 English(EN) · Wei Wang ·

    聚焦：协同种子探索与Spot GPU用于DiT RL训练后优化

    Reinforcement learning (RL) post-training of Diffusion Transformers (DiTs) is prohibitively expensive, requiring thousands of high-end GPUs. Existing works explore two directions to reduce cost: seed exploration improves training convergence by selecting high-contrast samples, ye…

相关实体

相关话题