研究人员开发了一个名为预算高效思维（BET）的新框架，以优化大型推理模型（LRM）使用的计算资源。与以往关注感知难度的旧方法不同，BET将适应性推理视为不确定性下的投资，根据预期回报分配预算。这种方法使LRM能够简洁地回答简单查询，放弃无望的推理路径，并将足够的资源投入到具有挑战性但可解决的问题上。在七个基准测试和三个基础模型上的实验表明，BET可以将推理令牌减少54%，同时将准确率提高高达3.2%。 AI
影响 该框架可能导致更有效地部署大型推理模型，降低运营成本并可能缩短响应时间。
排序理由 该集群包含一篇学术论文，详细介绍了一种优化AI模型性能的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
