研究人员开发了一个新的贝叶斯框架,称为置信度引导的提前停止(CGES),以提高大型语言模型(LLM)查询的效率。与需要固定调用次数的传统自洽性方法不同,CGES在单个答案获得足够置信度后即可自适应地停止采样。这种方法显著减少了所需的LLM调用次数,在五个推理基准测试中平均减少了58%,同时保持了与标准自洽性策略相当的准确性。 AI
影响 降低了LLM推理的计算成本,可能有助于更广泛地部署复杂的推理任务。
排序理由 详细介绍LLM查询新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →