研究人员开发了一种新的个性化大语言模型(LLM)路由算法,该算法通过在线学习用户偏好来最小化推理成本,同时保持响应质量。该方法将问题构建为约束上下文老虎机问题,即使在用户偏好未知的情况下也能平衡成本和可靠性。该框架适用于需要可靠性保证的各种在线模型选择场景。 AI
影响 这项研究通过根据学习到的用户需求和模型能力动态路由请求,有望实现更高效、更具成本效益的大语言模型资源利用。
排序理由 该集群包含一篇提交到 arXiv 的研究论文,详细介绍了一种新的大语言模型路由算法。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- Ameya Sameer Anjarlekar
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- IArxiv
- Influence Flower
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →