一篇新研究论文提出了一种名为“Jev”的系统-1决策模型,该模型通过从候选选项中选择答案而非生成完整的推理过程来与大型语言模型(LLMs)协同工作。这种方法旨在降低LLM生成过多推理令牌所带来的计算成本。实验表明,与强制从不完整的LLM推理中提取答案相比,Jev在较低的令牌预算下能提高准确性,并能在保持高准确率的同时显著降低估算的计算成本。 AI
影响 这项研究提出了一种通过优化推理令牌生成来降低LLM推理成本的方法,有望带来更高效的AI应用。
排序理由 研究论文发布在arXiv上,详细介绍了一个新模型及其评估。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →