本文提出了一种用于管理多个大型语言模型（LLM）的自学习路由器，以优化成本和性能。该路由器不依赖固定规则，而是从每个模型响应的结果中学习，并考虑速度、成本和正确性等因素。它采用多臂老虎机方法，特别是汤普森采样，来平衡探索新模型与利用已知良好模型。该系统旨在根据不断变化的性能数据，为每个请求动态选择最合适且最具成本效益的模型。 AI
影响 通过动态路由请求，实现更具成本效益和适应性的LLM基础设施使用。
排序理由 文章描述了一种优化现有工具（LLM）的技术方法，而不是新产品发布或前沿研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
<h2> Pick the right model for every request by learning from outcomes: scoring, Thompson sampling, a safe architecture, guardrails, and an honest list of pros and cons. </h2> <p>Most teams pick one LLM, hardcode its name, and pay for that choice on every single request. Some go f…