Step3.7

新的MISA-T策略提高了LLM的RL rollout效率

研究人员开发了MISA-T，这是一种新的路由层准入策略，旨在优化大型语言模型（LLM）的混合强化学习（RL）rollout调度。该策略解决了不同RL范式（如RLVR和RLHF）争夺KV缓存容量的异构服务需求带来的挑战。MISA-T通过智能管理会话准入、KV容量分配和KV核算，同时保持指定的混合工作负载和任务分数，从而提高了rollout吞吐量并缩短了迭代时间。