PulseAugur
中
实时 12:50:16

新的BG-MCTS算法优化LLM在固定token预算下的解码

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为Budget-Guided MCTS (BG-MCTS) 的新树搜索解码算法，旨在优化大型语言模型 (LLM) 在固定token预算内的性能。该方法动态调整其搜索策略，在接近token限制时从广泛探索开始，然后专注于细化。在数学和物理推理基准测试中，使用开放权重LLM时，BG-MCTS的表现优于现有的预算无关方法。 AI

影响 该算法可以提高LLM在资源受限环境中的部署效率和有效性。

排序理由 该集群包含一篇详细介绍LLM解码新算法的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Sora Miyamoto, Daisuke Oba, Naoaki Okazaki ·

    在LLM测试时扩展中，将树搜索策略与固定令牌预算对齐

    arXiv:2602.09574v2 Announce Type: replace Abstract: Tree-search decoding is an effective form of test-time scaling for large language models (LLMs), but real-world deployment often imposes a fixed per-query token budget that varies across settings. Existing tree-search policies a…

相关实体

相关话题