研究人员开发了SCALE，这是一种新颖的深度强化学习调度器，专为智能体LLM系统设计，可管理异构集群上的任务，且集群大小可变。与需要为不同集群配置重新训练的先前调度器不同，SCALE使用交叉注意力指针网络，无需微调即可泛化到未见的集群规模。通过引入结构化表示正则化（SRR），包括去相关损失和KL惩罚，SCALE保持了稳定的特征统计，并在比训练时更大的集群上进行测试时，平均响应时间减少了8.9%。 AI
影响 这种新的调度方法可以通过允许LLM智能体系统在不重新训练的情况下适应不同的计算资源，从而提高其效率。
排序理由 这是一篇描述AI调度新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →