AIME25
PulseAugur coverage of AIME25 — every cluster mentioning AIME25 across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
研究发现自蒸馏会损害先进人工智能思考模型
一篇新的研究论文揭示，自蒸馏（一种语言模型利用自身推理来改进的技术）实际上会损害先进“思考模型”的性能。在测试中，当处理数学问题等复杂推理任务时，使用特权上下文蒸馏的这些模型准确率显著下降，最高可达17%。这种效应在推理链更长时更为明显，并且似乎源于特权教师上下文如何在模型推理过程的关键决策点改变学习。
-
新方法DASH解决了推理语言模型中的过度思考问题
研究人员开发了一种名为DASH（Drift Aware advantage SHaping）的新方法来解决推理语言模型中的过度思考问题。该技术在片段级别分配信用，确定推理过程的每个部分是更接近还是更远离正确答案。通过使用中间答案承诺作为生产力的代理，DASH避免了昂贵的步骤级别注释的需要。DASH应用于AIME25等竞赛级别数学基准测试，与现有方法相比，其准确性更高，非生产性自我反思更少。
-
ConPress 方法从多问题提示中学习高效推理
研究人员开发了一种名为 ConPress 的新方法，以提高大型推理模型的效率。该技术利用了一种称为“自压缩”的现象，即模型在单个提示中呈现多个问题时，会自然地产生更短的推理轨迹。ConPress 利用这种多问题压力来微调模型，使其在没有外部监督的情况下生成简洁的推理轨迹。这种方法在推理代币使用量上显示出显著的减少，例如在 MATH500 基准测试上减少了 59%，同时保持了具有竞争力的准确性。
-
新框架统一图像生成能力；研究解决蒸馏挑战
研究人员推出了一种新颖的 on-policy 生成场蒸馏框架 DanceOPD，旨在将文本到图像、局部编辑和全局编辑等多种图像生成能力统一到单个模型中。该框架解决了将这些能力结合起来可能导致性能下降的常见问题。DanceOPD 将样本路由到特定的能力场，并使用速度 MSE 目标进行训练，从而在保持整体生成质量的同时组合专家能力。此外，其他研究还探索了 on-policy 蒸馏技术，包括缓解输出多样性减少和解决长推理任务中的位置偏差的方…
-
新研究探索极端LLM压缩技术
两篇新研究论文提出了压缩大型语言模型（LLM）的新颖方法，以减小其内存占用并提高效率。第一篇论文《LLM Compression by Block Removal with Constrained Binary Optimization》将LLM压缩构建为一个二元优化问题，在Llama-3.3-70B-Instruct的MMLU基准测试上取得了显著的提升。第二篇论文《UltraSketchLLM》引入了一种使用数据草图的低于1比特的压…
-
新的强化学习方法增强大型语言模型训练的稳定性和效率 · 跟踪 7 个来源
研究人员开发了几种新方法来提高大型语言模型 (LLM) 中强化学习 (RL) 的稳定性和效率。STARE 通过根据惊奇度重新加权 token 级优势来解决策略熵崩溃问题，在推理基准测试中显示出更高的准确性。GrowthHacker 利用 LLM 代理自主优化离策略评估 (OPE) 代码，证明了改进 OPE 系统的可行性。ZPPO 将教师模型保留在提示中而不是策略梯度中，从而增强了小型学生模型的知识蒸馏。GD$^2$PO 通过过滤掉具有…
-
新的自蒸馏方法提高了大型语言模型在推理任务上的性能
研究人员开发了新的大型语言模型自蒸馏技术，可在不依赖外部反馈的情况下提高其性能。AVSD（自适应视图自蒸馏）在多个特权信息视图之间平衡共识信号，并使用视图特定的残差来增强学习。自策略蒸馏（SPD）从梯度中提取能力子空间，以提高性能和泛化能力，尤其是在代码生成和数学推理方面。CEPO（对比证据策略优化）通过对比正确答案和错误答案来锐化关键标记的信用分配，从而提高了多模态数学推理基准的准确性。