Zhongyin Wang

新型系统-1模型“Jev”在预算约束下优化LLM推理

一篇新研究论文提出了一种名为“Jev”的系统-1决策模型，该模型通过从候选选项中选择答案而非生成完整的推理过程来与大型语言模型（LLMs）协同工作。这种方法旨在降低LLM生成过多推理令牌所带来的计算成本。实验表明，与强制从不完整的LLM推理中提取答案相比，Jev在较低的令牌预算下能提高准确性，并能在保持高准确率的同时显著降低估算的计算成本。