round-robin tournament
PulseAugur coverage of round-robin tournament — every cluster mentioning round-robin tournament across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
循环式（Round-robin）LLM 负载均衡在与有状态的 Azure OpenAI API 交互时失败
一种常见的使用循环式（round-robin）方法进行 LLM 流量负载均衡的方法，在与有状态的 API（如 Azure OpenAI 的 Responses API）交互时可能会导致失败。与无状态的 Chat Completions API 不同，Responses API 会在服务器端持久化对话历史和工具调用结果，并为这些项目分配唯一的 ID。当循环式（round-robin）网关将后续请求导向与最初处理对话的资源不同的资源时，A…
-
新的MoE调度框架消除了incast瓶颈
研究人员开发了一种新的混合专家（MoE）架构调度框架，旨在解决由传统轮询调度引起的瓶颈。这个名为“Incast-Free MoE Rate-Based Scheduling”的新框架旨在防止网络过度订阅，并通过模拟证明可以消除incast现象。该解决方案持续实现近100%的链路利用率并缩短了集合完成时间（CCT），有潜力在网络接口卡（NIC）中实现。
-
强化学习将多 GPU 系统中的 AI 推理路由速度提高了 3.5 倍
研究人员探索了使用强化学习（RL）为 AI 系统创建自适应推理批处理和路由策略。在具有可预测流量的单 GPU 场景中，RL 相较于静态批处理方法仅提供了微小的改进。然而，在具有混合请求类型和资源竞争的多 GPU 环境中，RL 代理发现了一种策略，该策略显著减少了队首阻塞，与轮询路由相比提高了 3.5 倍，与最佳启发式基线相比提高了 48%。这种自适应策略在满足服务水平协议的同时实现了更高的吞吐量和更低的延迟，表明 RL 的优势在于复杂…
-
强化学习优化AI推理路由，提高吞吐量
研究人员开发了一种强化学习（RL）方法来优化AI系统的推理批处理和路由，特别是在多GPU环境中。他们的研究结果表明，虽然RL在单GPU设置中仅带来边际收益，但在异构多GPU路由场景中，其性能远超传统启发式方法。RL代理发现了一种工作负载隔离策略，通过消除队首阻塞（Head-of-Line blocking）来显著降低延迟并提高吞吐量，证明了RL在推理基础设施的复杂组合决策制定中的有效性。