研究人员开发了MISA-T，这是一种新的路由层准入策略，旨在优化大型语言模型（LLM）的混合强化学习（RL）rollout调度。该策略解决了不同RL范式（如RLVR和RLHF）争夺KV缓存容量的异构服务需求带来的挑战。MISA-T通过智能管理会话准入、KV容量分配和KV核算，同时保持指定的混合工作负载和任务分数，从而提高了rollout吞吐量并缩短了迭代时间。 AI
影响 优化LLM训练基础设施，可能降低计算成本并加速模型开发周期。
排序理由 学术论文，详细介绍了优化LLM推理的新技术方法。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2608.11152v1 Announce Type: cross Abstract: Modern reinforcement learning (RL) post-training pipelines for large language models (LLMs) increasingly combine rollout workloads across multiple domains and feedback paradigms. Prefix-aware routing improves inference efficiency …
Modern reinforcement learning (RL) post-training pipelines for large language models (LLMs) increasingly combine rollout workloads across multiple domains and feedback paradigms. Prefix-aware routing improves inference efficiency through cache reuse and load balancing, but it doe…