HDM-27B

新型混合模型决定何时推理，降低成本和延迟

研究人员推出了一种新颖的混合决策模型（HDM），该模型能够智能地在快速的隐式回答和较慢的显式自回归推理之间进行路由。该模型使用经过校准决策策略优化（CDPO）训练的自路由模块来估计思考的价值，并根据预期效用与设定的成本来决定是否进行全面推理。在 JevBench 和 MiniWoB++ 等基准测试上的评估表明，HDM 在保持准确性的同时，可以显著降低代币成本和延迟，其中一个变体在 JevBench 上实现了 72.5% 的延迟降低。