Jungseob Lee

新的DART框架通过自适应思考预算优化AI推理

研究人员开发了DART，一种新颖的无训练混合推理模型框架。DART通过自适应地将查询路由到直接回答或扩展思考过程来优化token使用。该系统通过采样两个低成本草稿并进行比较来实现这一点；一致则直接回答，不一致则根据草稿熵触发预算预测。这种方法在不要求标记数据或梯度更新的情况下，在各种模型规模和家族中保持或提高了准确性，同时显著减少了token消耗，显示出前景。