PulseAugur
中
实时 14:08:21
实体 MATH500

MATH500

PulseAugur coverage of MATH500 — every cluster mentioning MATH500 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
15
90 天内 33
发布 · 30天
0
90 天内 0
论文 · 30天
14
90 天内 32
层级分布 · 90 天
主题
关系
情绪 · 30 天

8 天有情绪数据

最近 · 第 1/2 页 · 共 35 条
  1. TOOL · CL_364304 ·

    OVAL 方法将 LLM KV 缓存内存减少 50%,同时保持性能

    研究人员推出了一种新颖的大型语言模型(LLM)键值(KV)缓存压缩方法 OVAL,这是长上下文解码的一个重要瓶颈。OVAL 利用输出感知的低秩基来表示缓存中的每个页面,既作为检索索引,也作为存储机制。这种方法可以在保持性能的同时消除精确页面,在各种长上下文基准测试中实现了显著的内存节省。

  2. TOOL · CL_352047 ·

    新方法以零成本量化 LLM 完成的不确定性

    研究人员开发了一种新颖的方法来量化大型语言模型 (LLM) 完成的不确定性,称为序列级 Rényi 熵 (SRE)。该技术利用序列蒙特卡洛 (SMC) 解码以零额外计算成本估算序列级熵。与传统的局部 token 熵或自洽性方法相比,SRE 方法为选择性预测和自适应计算提供了更有效的信号,在 MATH500 等基准测试中表现出更好的性能。

  3. TOOL · CL_351900 ·

    研究发现,AI模型在最大推理努力下表现更差

    新研究表明,强迫AI模型在每次请求时都使用最大推理努力可能会导致负面结果,包括许多常见任务的延迟增加、成本升高以及答案质量下降。研究表明,对于更简单的问题,模型经常会通过相同的方法重复检查答案而浪费token,在某些情况下,扩展推理会通过放大有缺陷的启发式方法或关注不相关信息来积极降低准确性。专家建议,不应默认采用最大努力,而应在不同推理长度下评估模型,尤其是在代理任务中,过度思考会阻碍有效行动。

  4. TOOL · CL_348874 ·

    AI代理获得技能但风险增加;技能跟随很复杂

    新研究表明,虽然可以将良性技能添加到AI代理中,但这也会增加其不安全行为的可能性。一项在arXiv 2611.04299上的研究发现,从安全交互中提炼出的技能会导致更多有害输出,这表明了有用性和风险之间的权衡。此外,Cho & Park对“技能跟随”的另一项分析强调,仅仅检索一项技能并不能保证代理能够正确使用它,这可能会导致性能下降。

  5. TOOL · CL_342218 ·

    新的LLM路由策略在固定预算内最大化任务完成率

    研究人员开发了一种名为ADP-HT的新型上下文老虎机策略,旨在优化在固定预算内将任务分配给大型语言模型(LLM)的效率。该策略学习特定于任务的成功概率,并使用粗粒度的响应长度标签来估计成本,目标是在预算耗尽前最大化已解决的任务数量。在MATH500、GPQA、RouterBench和LiveCodeBench等基准测试中,ADP-HT表现优于现有基线,甚至在严格的预算限制下也优于已部署的商业路由器。

  6. TOOL · CL_347829 ·

    新的ADP-HT策略在固定预算内优化LLM使用

    研究人员开发了一种新的上下文老虎机策略ADP-HT,用于在固定预算内优化大型语言模型(LLM)的使用。该策略旨在通过学习模型成功概率和创建保守的成本估算来最大化在预算耗尽前解决的任务数量。ADP-HT根据实际支出和可用预算调整成本惩罚,在MATH500、GPQA、RouterBench和LiveCodeBench等基准测试中表现优于现有基线,尤其是在预算紧张的情况下。

  7. TOOL · CL_335080 ·

    新型LLM Spark-X2.6-1.7B在RTX 4090上实现769 tokens/sec

    一款名为Spark-X2.6-1.7B的新语言模型已发布,并配备了名为DSpark的配套技术,在单块NVIDIA RTX 4090 GPU上实现了每秒769个token的吞吐量。该性能是在GSM8K基准测试上使用llama.cpp的Q4_K_M量化实现的。DSpark技术通过并行验证多个草稿token,实现了高达2.43倍的BF16精度加速,提高了效率。该模型可在Hugging Face和ModelScope上根据Apache 2.0许可证下载。

  8. RESEARCH · CL_324783 ·

    新的DTCA框架增强了扩散语言模型的强化学习·跟踪2个来源

    研究人员引入了去噪令牌信用分配(DTCA),一个旨在改进扩散语言模型(DLMs)强化学习的新框架。DTCA解决了在DLMs中为单个令牌分配信用的挑战,由于其迭代文本生成过程,这非常困难。该框架通过分析预测置信度变化来估计令牌贡献,并按词性类别对这些信号进行分组,从而更有效地指导强化学习训练。在LLaDA-8B-Instruct模型上的实验表明,在数学推理方面取得了显著改进,在MATH500上提高了9.0分,在GSM8K上提高了5.3分。

  9. RESEARCH · CL_321936 ·

    J-Comm 框架通过 Jacobian 指导实现 LLM 代理的有效通信

    研究人员推出 J-Comm,一个旨在增强大型语言模型(LLM)代理之间潜在通信的新框架。J-Comm 利用无需训练的几何一致性推理(GEAR)组件来优化 token 候选,以及一个 H+J(隐藏层和 Jacobian)通信接口。该接口为接收模型提供连续的反馈分布和中间状态的 Jacobian 提示,从而在无需共享键值缓存或相同模型宽度的情况下实现更有效的推理。在涉及 Qwen3-8B 和 Qwen3-4B 模型的测试中,J-Comm …

  10. TOOL · CL_312677 ·

    新方法通过自适应修订和重采样优化 AI 推理计算

    研究人员开发了自适应重放精炼(ARR),一种新颖的无训练方法,用于优化 AI 模型推理期间的计算资源分配。ARR 通过检测固定修订何时达到固定点,然后将计算重新分配给新的独立样本,来解决是精炼现有解决方案还是生成新解决方案的挑战。这种方法已显示出显著的效率提升,将串行通道减少多达 2.4 倍,并在 MATH500 等基准测试中以远低于传统方法的计算量实现了高精度。

  11. RESEARCH · CL_307987 ·

    新的循环模型架构提升了推理和效率

    研究人员开发了一种新的循环语言模型架构,该架构跨越逻辑深度重用 Transformer 块,提高了上下文提取和推理任务的性能。这种“序曲-循环块-尾声三明治”设计,以 Huginn 模型为例,显示出其优势可以迁移到专家混合(MoE)模型。与传统的前馈 MoE 模型相比,Huginn 式设计在参数效率方面更高,在多个基准测试中表现优于它们,同时在其他基准测试中保持了有竞争力的结果。

  12. TOOL · CL_301179 ·

    新技术在无需重新训练的情况下增强LLM推理能力

    研究人员推出了一种名为解耦边际锐化(Decoupled Marginal Sharpening, DMS)的新技术,可以在推理时增强大型语言模型(LLM)的推理能力,而无需更新模型权重或使用外部奖励模型。DMS通过分别控制模型对特定推理路径的偏好及其最终答案的选择,解决了现有幂采样方法中的挑战。这种方法允许探索多样化的推理路径,然后更侧重于具有更大聚合支持的答案。在多个基准测试和LLM上的实验表明,DMS在提高推理任务的准确性方面优于现有方法。

  13. TOOL · CL_300851 ·

    新方法通过减轻分布锐化来改进AI数学问题解决能力

    一篇新研究论文介绍了分布对齐提示合成(DAHS)和反向提示退火(BHA)技术,以改进在具有可验证奖励的强化学习(RLVR)中解决复杂数学问题的能力。这些方法旨在减轻分布锐化现象,该现象会导致模型在简单问题上的准确性提高,但会牺牲在更难问题上的覆盖率。DAHS创建与学生响应相匹配的教师提示,而BHA则随着模型性能的提高逐渐减少提示暴露,并使用dropout在训练过程中保持无提示的rollout。这些技术在Qwen3模型的AIME基准测试…

  14. RESEARCH · CL_300983 ·

    REWIND方法通过针对易出错的生成来改进LLM推理

    研究人员开发了REWIND,一种新颖的无需训练的方法,旨在提高大型语言模型的推理能力。通过分析token熵,REWIND识别并针对生成响应的特定部分进行重新生成,从而纠正可能导致整个推理过程出错的早期错误。该方法在多个模型和基准测试中表现出显著的性能提升,优于现有方法。

  15. TOOL · CL_283737 ·

    新AI训练方法无需参数调整即可提升模型推理能力

    研究人员开发了一种名为On-Policy Power Distillation (OPPD) 的新颖方法,用于训练语言模型以提高其推理能力,而无需外部评分或参数更改。OPPD直接训练模型生成更优化的答案,有效地将概率转移到模型最可能正确的响应上。该技术在MATH500、GSM8K和HumanEval等多个基准测试中显示出显著的准确性提升,优于GRPO等现有方法,并取得了与广泛候选采样相当的收益。

  16. TOOL · CL_252117 ·

    CanvasAnneal框架通过课程强化学习提升扩散语言模型的推理能力

    研究人员开发了CanvasAnneal,一个用于扩散语言模型(DLMs)的新框架,该框架使用课程强化学习来提高它们的推理和工具使用能力。这种方法在训练的初始阶段注入来自更强教师模型的指导,并随着DLM学会独立生成推理轨迹而逐渐减少。在MATH500和Countdown等基准测试上的实验表明,CanvasAnneal可以加速奖励的提高,并优于标准的diffu-GRPO,尽管收益因任务而异。

  17. TOOL · CL_231543 ·

    新研究表明强化学习增强语言模型采样效率,而非新的推理能力

    一项新的研究论文探讨了强化学习(RL)如何影响语言模型的推理能力,特别是它是否引入了新的推理能力还是增强了现有能力的采样。该研究引入了一个统一解码框架(UDF)来分析token级别的采样和搜索策略。在Math500和GPQA等基准测试上的结果表明,RL的收益在很大程度上可归因于现有能力的采样效率提高,而不是全新的推理技能。

  18. TOOL · CL_223254 ·

    新的TRACES框架为LLM推理实现成本效益的早期停止

    研究人员推出TRACES,一个旨在为语言推理模型(LRM)标记推理步骤的新框架,以实现自适应且成本效益高的早期停止。该方法在推理过程中监控推理行为,识别在达到正确答案后发生的转变。通过分析特定的步骤类型,TRACES可以创建可解释的早期停止标准,在数学和基于知识的基准测试中实现显著的代币减少(20-50%),同时保持准确性。

  19. TOOL · CL_205848 ·

    新理论解释了验证器不完美如何影响LLM的测试时扩展

    一篇题为“ROC-n-reroll:验证器不完美如何影响测试时扩展”的新论文探讨了通过在推理过程中增加计算量来提高语言模型性能的理论基础。研究证明,像Best-of-N和Rejection Sampling这样的方法的准确性直接关系到验证器ROC曲线的几何形状。使用Qwen和Llama模型在GSM8K和MATH500数据集上进行的实验证实,在固定计算量的情况下,Rejection Sampling比Best-of-N更有效,尽管两种方…

  20. TOOL · CL_193665 ·

    新的ROM框架减少AI过度思考,大幅缩短响应时间

    研究人员开发了ROM(实时过度思考缓解),一个新颖的框架,旨在防止大型推理模型(LRMs)在达到正确解决方案后进行不必要的计算。ROM利用一个轻量级的隐藏状态检测器,在格式良好的推理边界进行识别和干预,有效缓解“过度思考”,而无需提取中间答案或更新模型权重。这种方法在各种基准测试和模型家族中,将响应长度最多减少77%,同时保持或提高准确性,从而大幅降低实际运行时间延迟。