实体
RoundPipe
RoundPipe
PulseAugur coverage of RoundPipe — every cluster mentioning RoundPipe across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
NVIDIA Spectrum-X 以太网获得多路径可靠连接，支持千兆级 AI
NVIDIA 的 NeMo RL 投机解码为 AI 模型训练提供了显著的速度提升，在 8B 参数下达到 1.8 倍，预计在 235B 参数下达到 2.5 倍，可能将训练时间减半。同时，RoundPipe 技术能够在单个 24GB GPU 上对 32B 模型进行完全微调，速度提升 1.5-2.2 倍。这些推理和训练效率的进步为 AI 芯片初创公司挑战 NVIDIA 的主导地位创造了机会，NVIDIA 收购 Groq 即是明证。
-
RoundPipe 实现了在消费级 GPU 上高效进行 LLM 微调
研究人员开发了 RoundPipe，这是一种新的流水线调度方法，旨在提高在消费级 GPU 上微调大型语言模型的效率。该方法通过以循环方式动态调度设备上的计算阶段来解决现有方法的局限性，从而有效地消除流水线气泡并提高吞吐量。评估显示，与当前基线相比，速度有了显著提升，使得在单台服务器上微调非常大的模型成为可能。RoundPipe 也作为一个开源库提供。