PulseAugur
实时 09:44:20
English(EN) Which Tokens Matter? Adaptive Token Selection for RLVR with the Relative Surprisal Index

新的相对惊奇度指数增强了 RLVR 中 LLM 的推理能力

研究人员引入了相对惊奇度指数 (RSI),这是大型语言模型中用于可验证奖励强化学习 (RLVR) 的一项新指标。RSI 旨在通过同时考虑 Token 熵和概率来调和 RLVR 中的冲突方法。提出的 RSI 选择 (RSI-S) 方法在稳定的 RSI 区间内过滤 Token,去除冗余和不稳定的 Token。实证结果表明,RSI-S 在各种 Qwen2.5 模型规模的 AIMEAMC 等基准测试中提高了准确性。 AI

影响 引入了一种新颖的指标和过滤方法,可以提高 RLVR 应用中 LLM 的推理能力。

排序理由 该集群包含一篇学术论文,详细介绍了一种用于提高 LLM 推理能力的新指标和方法。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的相对惊奇度指数增强了 RLVR 中 LLM 的推理能力

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Outongyi Lv, Yanzhao Zheng, Yuanwei Zhang, Zhenghao Huang, Xingjun Wang, Baohua Dong, Hangcheng Zhu, Yingda Chen ·

    哪些 Token 重要?基于相对惊异度指数的 RLVR 自适应 Token 选择

    arXiv:2606.31575v1 Announce Type: new Abstract: Reinforcement learning (RL) has become a powerful tool for propelling Large Language Models (LLMs) beyond imitation-based training towards more robust reasoning capabilities. Among existing approaches, RL with Verifiable Rewards (RL…

  2. arXiv cs.AI TIER_1 English(EN) · Yingda Chen ·

    哪些 Token 重要?用于 RLVR 的自适应 Token 选择与相对惊奇指数

    Reinforcement learning (RL) has become a powerful tool for propelling Large Language Models (LLMs) beyond imitation-based training towards more robust reasoning capabilities. Among existing approaches, RL with Verifiable Rewards (RLVR) has emerged as a pivotal paradigm for advanc…