研究人员开发了一种新颖的在线学习算法，以解决在边缘云推理系统中为不同用户任务选择最佳大型语言模型（LLM）的挑战。该算法旨在处理时变任务需求，并在资源约束下运行，例如货币支出限制和延迟保证。通过利用置信界和需求预测，该方法旨在最大化奖励，同时确保长期的约束满足，与离线方法相比，在次线性遗憾和约束违反方面提供了理论保证。 AI
排序理由 该集群包含一篇详细介绍LLM选择新算法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →