研究人员推出了一种新颖的混合决策模型(HDM),该模型能够智能地在快速的隐式回答和较慢的显式自回归推理之间进行路由。该模型使用经过校准决策策略优化(CDPO)训练的自路由模块来估计思考的价值,并根据预期效用与设定的成本来决定是否进行全面推理。在 JevBench 和 MiniWoB++ 等基准测试上的评估表明,HDM 在保持准确性的同时,可以显著降低代币成本和延迟,其中一个变体在 JevBench 上实现了 72.5% 的延迟降低。 AI
影响 引入了一种高效的 LLM 推理新方法,有望降低 AI 系统的运营成本。
排序理由 学术论文,详细介绍了新的模型架构和训练方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- AGIEval
- Banking77
- Calibrated Decision Policy Optimisation
- GPQA Diamond
- HDM-27B
- HDM-4B
- Hybrid Decision Model
- JevBench
- MiniWoB++
- MMLU-Pro
- The Value of Thinking: Learning When to Reason in Hybrid Decision Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →