研究人员推出了一种新颖的框架 WISERouter，旨在通过平衡性能和成本来优化大型语言模型 (LLM) 路由。该系统解决了当前方法的一些局限性，例如可能不严格遵守预算约束的启发式方法，以及收集密集监督学习数据集的高昂成本。WISERouter 将 LLM 路由构建为一个受约束的上下文多臂老虎机问题，能够从历史数据中进行离线学习和通过探索进行在线学习，并在实证测试中展示了卓越的性能和预算遵守能力。 AI
影响 通过平衡性能和成本来优化 LLM 的使用，有可能降低 AI 应用的运营成本。
排序理由 介绍 LLM 路由新框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
