AIME 2025
PulseAugur coverage of AIME 2025 — every cluster mentioning AIME 2025 across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
Gemma 4 E4B 和 E2B 模型从“思考”功能中获得的收益甚微
在 8 GB RTX 3050 GPU 上测试 Google 的 Gemma 4 E4B 和 E2B 模型发现,启用“思考”功能(允许模型执行中间推理步骤)会显著增加处理时间,但准确性没有实质性提高。“草稿生成器”组件则能将模型响应速度提高多达 2.39 倍,且不影响得分。对于这两个模型,建议使用草稿生成器以获得更快的性能,而“思考”的好处被发现是微不足道的,特别是对于 GSM8K 测试中的 E4B 模型。
-
研究论文质疑大型语言模型的基准污染测试
一篇已被撤回的研究论文调查了用于检测大型语言模型基准污染的部分提示完成测试的有效性。研究发现,剩余提示的长度显著影响检测率,较短的剩余部分会更频繁地标记出污染。研究还强调了源自已被污染来源的蒸馏模型存在的问题,表明在测试方法中需要进行长度分层报告和跨家族校准。
-
证明步骤验证提高了 AI 数学精度,但降低了覆盖率
一篇新的研究论文探讨了证明步骤验证对于开放权重数学推理模型的有效性。研究发现,虽然这种方法可以提高 GPQA 和 AIME 等基准测试的精度,但它会显著降低覆盖率并引入新的故障模式,例如无效的证明构建。该研究强调需要单独报告执行失败、答案精度和证明有效性,以准确评估模型性能。
-
新的注意力机制提升大语言模型效率与安全性 · 跟踪 2 篇论文
两篇新的研究论文介绍了一种新颖的注意力机制,旨在提高大语言模型的效率和能力。第一篇论文 POEM 专注于面向长上下文预填充的输出相对块稀疏注意力,旨在提高对越狱攻击的鲁棒性,同时最大限度地减少过度拒绝。第二篇论文 Adamas 利用具有 token 级压缩的 Hadamard 稀疏注意力机制,实现高效的长上下文推理,在具有挑战性的推理基准上展示了显著的加速并保持了性能。
-
Kimi-K3.1-Pro-Coder 模型通过多层量化将大小缩减至 775 GB
一种名为 Kimi-K3.1-Pro-Coder (2.8T) 的 Kimi-K3.1-Pro-Coder 模型的新实验性量化已被开发出来,将其大小从 1.77 TB 减少到 775 GB。这是通过多层量化策略实现的,不同的专家以不同的比特率(2.81 bpw、2.56 bpw 和 1.44 bpw)进行量化,而核心组件则保持较高精度。该模型利用了一个名为 Strata 的自定义加载器和卸载引擎,该引擎将专家分布在 GPU VRAM、…
-
新方法通过自动分步评分标准增强 LLM 推理能力 · 已追踪 2 个来源
研究人员开发了通过分步评分标准奖励来改进大型语言模型 (LLM) 推理能力的新方法。第一种方法,分步评分标准作为奖励 (SRaR),使用 LLM 裁判将评分标准项分配给推理步骤,对分数进行归一化以关注质量差异,并结合分步奖励和结果奖励。该方法提高了在数学和代码生成基准测试上的准确性,尤其是在 AIME 2025 上提高了忠实推理率。第二种方法 Rubricon 自动化了 LLM 评估和训练的评分标准生成与优化,无需人工偏好标签。Rub…
-
新的CIKA框架使用LLM来精确识别数学推理中的因果概念
研究人员开发了CIKA,一个旨在通过识别对正确答案有因果作用的概念来增强大型语言模型(LLM)数学推理能力的新框架。与以往因问题难度等混淆因素而难以处理虚假关联的方法不同,CIKA利用LLM本身作为干预模拟器。通过提示LLM“掌握”特定概念,该框架估计了对正确性的因果效应,从而区分了因果相关的知识与不相关或混淆的知识。这种方法取得了显著的改进,在使用一个固定的7B参数LLM在Omni-MATH-Rule基准上达到了69.7%的准确率,…
-
新框架简化了数学问题的形式化证明生成
研究人员开发了一个新颖的框架,用于在 Lean 4 等系统中生成形式化证明,该框架将候选答案选择和证明生成整合到一个单一过程中。这种联合方法旨在减少处理数学问题的多个潜在答案时的冗余计算。该框架在 MATH-500 和 AIME 等基准测试上,证明成功率与传统方法相当,同时显著降低了计算成本并识别了不准确的形式化语句。
-
Metis-1.6 模型通过新颖的架构实现帕累托最优效率
一位独立研究者开发了 Metis-1.6,一套新的语言模型 Praxis 和 Logos,它们优先考虑高效的训练方法和新颖的架构,而不是单纯的参数数量。尽管在通用基准测试中未能与前沿模型竞争,Logos 在数学方面表现强劲,在 AIME 2025 和 HMMT February 2026 基准测试中排名第 30 个模型中的第二名。技术报告还详细介绍了遇到的重大训练错误和架构挑战,并为 Metis-1.7 等未来迭代提供了关于出了什么问…
-
新的NormTune方法提升了PEFT在推理任务上的性能
研究人员开发了NormTune,这是一种新颖的参数高效微调(PEFT)策略,旨在提高推理密集型任务的性能。NormTune通过根据权重更新范数自适应地加强更新不足的层,来解决PEFT与完全微调之间观察到的性能差距。实验表明,NormTune在AIME 2024、MATH 500、GPQA和AIME 2025等具有挑战性的基准测试中,显著提升了LoRA、Bone和MoRA等各种PEFT方法的准确性。增强后的方法在资源消耗大大减少的情况下…
-
自适应多令牌预测将 LLM 解码速度提升高达 4.1 倍
研究人员推出了一种新颖的语言模型解码加速方法——自适应多令牌预测(AMTP)。AMTP 根据验证反馈动态调整预测范围,通过选择每秒预期令牌数最高的范围来优化吞吐量。该方法无需重新训练底层模型,可应用于各种草稿-目标配对。在 AIME 2025 和 GSM8K 等基准测试上的评估表明,AMTP 在大多数测试配置中可实现比标准方法快高达 4.1 倍的解码速度,同时保持或提高性能。
-
GigaChat 3.5 推理基准测试声明因误导性效率指标而受到质疑
对人工智能基准测试表的一项最新分析强调了性能声明呈现方式的差异,并以 GigaChat 3.5 Reasoning 模型和 DeepSeek V4 Flash Preview 为例。虽然 GigaChat 公布的基准测试数字是准确的,但其声称在使用少 37% 的 token 的情况下“媲美”DeepSeek V4 Flash 是具有误导性的。文章指出,GigaChat 在某些评估中获胜,但在其他评估中却显著落败,并且效率指标是基于一套…
-
AI模型通过形式化证明和新发现解决未解数学难题
两篇新研究论文探讨了大型语言模型在高级数学推理和发现方面的能力。第一篇论文介绍了Magenta,一个将非正式的自然语言数学问题与Lean 4中形式化、机器可验证的证明联系起来的系统,在奥林匹克竞赛基准测试中取得了完美的准确率,并与K2-Horizon-7B配对解决了六个IMO 2026问题。第二篇论文提出了HorizonMath,一个旨在测试AI进行新颖发现能力的未解数学问题基准,其中GPT-5.4 Pro和GPT-5.6 Sol等模…
-
新研究质疑了当候选答案错误时大型语言模型的聚合策略
一篇新研究论文探讨了大型语言模型不同聚合策略的有效性,特别是在初始候选答案不正确的情况下。该研究使用 Qwen3-4B 模型在 AIME-2025 和 HMMT-2025 数学基准测试上进行,发现虽然以多个正确候选答案为条件可以提高准确性,但依赖不正确的候选答案实际上会降低性能,与生成全新解决方案相比。研究还指出,显式答案字段可以引导模型输出,但掩盖它们并未带来可衡量的准确性改进。
-
新研究探索LLM推理的测试时扩展
两篇新研究论文介绍了通过测试时扩展来提高大型语言模型(LLMs)推理能力的新颖方法。第一篇论文“Consilience”通过引入一个评估置信度时间不对称性的框架,惩罚初始高置信度但要求最终确定性,从而解决了现有基于置信度方法的局限性。第二篇论文“CoBa”提出了一种计算平衡的路由策略,优化了生成和验证步骤的资源分配,以显著更少的计算资源实现了高精度。
-
新的 TTEL 算法通过定位错误来提高 LLM 推理效率
研究人员开发了一种名为“通过错误定位进行测试时扩展”(TTEL)的新型推理时算法,以提高大型语言模型在复杂推理任务上的效率。TTEL 利用反馈来精确定位错误发生的具体 token,从而能够截断错误的路径并为新生成的内容重用有效的词缀。评估表明,TTEL 在 LiveCodeBench、AIME-2025 和 HMMT-2025 等基准测试中显著优于现有方法,以更少的生成 token 实现了更好的性能。
-
KV-Cache嫁接提升小型LLM,实现280万token上下文
研究人员开发了一种名为KV-Cache嫁接的新颖技术,可以在不改变权重的情况下增强小型语言模型。该方法允许将已验证的知识以字节精确的方式恢复到推理上下文中,从而在能力和效率方面取得显著改进。例如,Gemma-4-12B模型在AIME 2025基准测试上的性能在嫁接了已验证的解决方案库后,从80.0%提高到93.3%。这种方法还大大减少了token使用量和能耗,使得上下文窗口高达280万token,而无需额外的内存成本。
-
新的ACPO框架增强了大型语言模型的强化学习能力
研究人员推出了一种名为自适应信用策略优化(ACPO)的新框架,旨在改进大型语言模型强化学习中的信用分配。ACPO通过不对称地调整策略更新来解决稀疏奖励的挑战,重点关注成功试验中的不确定决策和失败试验中的过度自信的token。该方法旨在在保持策略梯度方向的同时,提高在AIME 2025和HumanEvalPro等基准测试上的性能,优于DAPO、GTPO和SAPO等现有方法。
-
TREK程序提升AI推理和代理任务性能
一种名为TREK(Teacher-Routed Exploration via Forward KL)的新分阶段程序已被引入,以提高AI模型的性能,尤其是在复杂的推理任务中。TREK利用蒸馏并非为了直接模仿,而是通过整合已验证的解决方案来扩展模型的探索能力。该方法在应用于DeepSeek-V4和Qwen3等模型时,在AIME 2024和2025等数学推理基准上显示出显著改进,并且还增强了在ALFWorld和ScienceWorld等代…
-
TREK方法通过扩展探索支持来提升LLM推理能力
研究人员推出了一种新颖的分阶段程序TREK(Teacher-Routed Exploration via Forward KL),旨在增强语言模型的能力,特别是在复杂的推理任务中。TREK利用蒸馏并非为了直接模仿,而是为了扩展模型的探索支持,使其能够处理当前策略可能 falter 的提示。该方法在应用于Qwen3等模型时,在AIME 2024和AIME 2025等数学推理基准上显示出显著的改进,并且还提高了ALFWorld和Scien…