研究人员开发了OPTI-Q，一个旨在优化多个大型语言模型（LLM）问题规划的新框架。该系统使用受数据库启发的、基于成本的优化器来创建执行计划，以平衡答案质量与成本、延迟和能源等资源约束。OPTI-Q将LLM调用建模为有向无环图中的算子，并通过使用性能数据库估算不同算子组合的质量和资源使用情况来搜索最优计划。在MMLU-Pro和SimpleQA基准测试上的实验表明，与基线方法相比，OPTI-Q在保持在指定预算内的情况下显著提高了平均答案质量。 AI
影响 该框架可以实现更高效、更具成本效益的基于LLM的问答系统的部署。
排序理由 该集群包含一篇详细介绍LLM问题规划新框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
