研究人员开发了JOVE,一个新颖的框架,旨在优化跨不同大型语言模型(LLM)分布的任务的执行和验证。JOVE通过联合分配执行器和选择用于验证的中间输出来解决LLM对特定子任务的适用性未知的问题。该系统在预算和延迟限制下,平衡当前执行成本与为未来改进而学习。通过采用在线学习,根据验证反馈更新LLM质量估计,并纳入信息增益奖励,JOVE旨在改进分配决策。在四个推理基准上的实验表明,JOVE在实现具有竞争力的准确性的同时,与标准推理基线相比,平均成本和延迟降低了至少3.17倍。 AI
影响 该框架可能导致更高效、更具成本效益地利用LLM处理复杂的推理任务,从而可能降低运营成本并缩短响应时间。
排序理由 该集群包含一篇研究论文,详细介绍了LLM任务执行和验证的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →