实体
Shortest-Queue
Shortest-Queue
PulseAugur coverage of Shortest-Queue — every cluster mentioning Shortest-Queue across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
强化学习将多 GPU 系统中的 AI 推理路由速度提高了 3.5 倍
研究人员探索了使用强化学习（RL）为 AI 系统创建自适应推理批处理和路由策略。在具有可预测流量的单 GPU 场景中，RL 相较于静态批处理方法仅提供了微小的改进。然而，在具有混合请求类型和资源竞争的多 GPU 环境中，RL 代理发现了一种策略，该策略显著减少了队首阻塞，与轮询路由相比提高了 3.5 倍，与最佳启发式基线相比提高了 48%。这种自适应策略在满足服务水平协议的同时实现了更高的吞吐量和更低的延迟，表明 RL 的优势在于复杂…
-
强化学习优化AI推理路由，提高吞吐量
研究人员开发了一种强化学习（RL）方法来优化AI系统的推理批处理和路由，特别是在多GPU环境中。他们的研究结果表明，虽然RL在单GPU设置中仅带来边际收益，但在异构多GPU路由场景中，其性能远超传统启发式方法。RL代理发现了一种工作负载隔离策略，通过消除队首阻塞（Head-of-Line blocking）来显著降低延迟并提高吞吐量，证明了RL在推理基础设施的复杂组合决策制定中的有效性。