PulseAugur
实时 15:27:44

DART框架在无需训练的情况下优化AI推理,减少了token使用量

研究人员开发了DART,一个新颖的、无需训练的框架,用于优化混合AI模型的推理能力。DART能够自适应地路由查询,允许直接回答简单问题,同时为复杂问题分配更多的计算预算。该方法使用草稿协议来确定是否需要扩展思考,显著减少了token使用量,同时在具有挑战性的数学和代码推理任务上保持或提高了准确性。该框架的有效性已在各种模型规模和系列中得到证明,无需标记数据或梯度更新。 AI

影响 DART的无需训练的方法可以显著降低各种AI模型复杂推理任务的推理成本。

排序理由 该集群包含一篇详细介绍AI推理新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

DART框架在无需训练的情况下优化AI推理,减少了token使用量

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Heuiseok Lim ·

    DART:用于混合推理模型训练无关自适应思维预算的草案协议路由

    Hybrid reasoning models can answer directly or spend extra tokens on extended thinking. A practical router should choose between these modes for each query, so easy problems avoid unnecessary reasoning and hard problems receive enough budget to finish the answer. Existing routers…