OPTI-Q

新框架优化多LLM问题规划，平衡成本与质量

研究人员开发了OPTI-Q，一个旨在优化多个大型语言模型（LLM）问题规划的新框架。该系统使用受数据库启发的、基于成本的优化器来创建执行计划，以平衡答案质量与成本、延迟和能源等资源约束。OPTI-Q将LLM调用建模为有向无环图中的算子，并通过使用性能数据库估算不同算子组合的质量和资源使用情况来搜索最优计划。在MMLU-Pro和SimpleQA基准测试上的实验表明，与基线方法相比，OPTI-Q在保持在指定预算内的情况下显著提高了平均答案质量。