新的数据加载策略优化分布式AI训练成本

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-16 04:00

研究人员开发了一种新的数据加载策略——Batch Cost Lookahead (BCL)，旨在优化机器学习模型的分布式训练，尤其是在处理单个数据记录的成本差异很大的情况下。BCL在没有跨秩协调的情况下运行，通过本地缓冲和重新分区数据来平衡估计的批处理成本。这种方法在H200 GPU的模拟和实际测试中，比现有方法快1.050到1.343倍，并识别出了异常数据的内存可行性边界。 AI

影响这项新的数据加载策略通过优化资源利用率，有望显著降低大规模AI模型的训练时间和成本。

排序理由该集群包含一篇详细介绍分布式训练优化新颖技术方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 14 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇详细介绍分布式训练优化新颖技术方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, paper; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Tao Huang, Chen Zhu, Antonio Alonso, Daming Li, Adarsh Goura, Jaideep Ray, Yitong Zhou · 2026-10-16 04:00

面向可变成本分布式训练的无协调工作负载正则化

arXiv:2610.21162v1 Announce Type: cross Abstract: Synchronous data-parallel training usually assigns every rank the same number of records, even when record costs vary by orders of magnitude. For variable-length models, this converts input variation into idle time because each st…

本文如何被排名

报道来源 [1]

面向可变成本分布式训练的无协调工作负载正则化

相关实体

相关话题