HMMT25
PulseAugur coverage of HMMT25 — every cluster mentioning HMMT25 across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究改进AI模型训练的策略内蒸馏 · 跟踪9个来源
多篇研究论文探讨了策略内蒸馏(OPD)的进展,这是一种通过让AI模型从由教师模型指导的自身生成输出来学习的训练技术。CoRD引入了耦合滚动以改进状态分布监督,而O^2PD则专注于可靠的前缀令牌和自适应对齐策略。P^2-MOPD通过使用参数先验来加速多教师蒸馏,而D^2-OPD则解耦了外推方向和距离,以在数学推理方面获得更好的性能。此外,vOPD使用强化学习中的控制变量基线来稳定OPD,其他研究则强调了OPD的泛化限制,特别是在分布外场…
-
PRISM算法通过分步验证增强AI推理能力
研究人员推出了一种新颖的推理算法PRISM,旨在增强DeepThink系统的推理能力。PRISM利用过程奖励模型(PRMs)在分步层面指导重采样、提议接受和解决方案聚合。这种方法旨在缓解错误放大和正确解决方案被抑制等问题,这些问题会阻碍现有框架。在AIME25、HMMT25和GPQA Diamond等基准测试中使用GPT OSS 20B和GPT OSS 120B模型进行测试时,PRISM在与当前的DeepThink方法相比,表现出具有…
-
$S^3$方法将LLM推理效率提高27%,同时提高准确性
研究人员开发了一种名为谱零空间交换($S^3$)的新方法,以提高使用思维链(Chain-of-Thought)推理的大型语言模型(LLMs)的效率。该技术发现,核心推理能力存在于模型主导奇异方向零空间内的特定权重分量中。通过操纵这个零空间分量,$S^3$可以在不牺牲准确性的情况下,显著降低与推理相关的代币成本。在各种模型架构和推理领域的评估显示,推理代币开销平均减少了27.4%,整体任务准确性提高了1.0个百分点。
-
VISTA方法通过师生适应性学习增强AI推理能力 · 跟踪2个来源
研究人员开发了VISTA,一种用于策略内自蒸馏(OPSD)的新方法,可增强AI模型的推理能力。与标准的OPSD不同,VISTA根据已验证的学生试运行来调整教师模型,特别关注教师模型和学生模型之间差异最大的区域。当应用于不同大小(1.7B、4B和8B参数)的Qwen3模型时,该方法在多个基准数据集(AIME24、AIME25、HMMT25)上表现出性能提升,优于现有的OPSD技术。
-
研究发现自蒸馏会损害先进人工智能思考模型
一篇新的研究论文揭示,自蒸馏(一种语言模型利用自身推理来改进的技术)实际上会损害先进“思考模型”的性能。在测试中,当处理数学问题等复杂推理任务时,使用特权上下文蒸馏的这些模型准确率显著下降,最高可达17%。这种效应在推理链更长时更为明显,并且似乎源于特权教师上下文如何在模型推理过程的关键决策点改变学习。
-
新方法通过分析置信度动态来优化 LLM 推理
两篇新的研究论文提出通过分析大型语言模型(LLM)在推理过程中的置信度水平来优化其推理时间的方法。第一篇论文 EAGer 使用了 token 级熵来动态分配计算资源,仅在不确定性高时才分支到多个推理路径。第二篇论文置信度动态增益(CDG)观察到,正确的推理轨迹往往会随着时间的推移而提高置信度,而错误的轨迹则会下降,并利用这种动态来选择更好的答案。这两种方法在复杂推理基准测试中都显示出显著的性能提升和计算量减少。
-
新的自蒸馏方法提高了大型语言模型在推理任务上的性能
研究人员开发了新的大型语言模型自蒸馏技术,可在不依赖外部反馈的情况下提高其性能。AVSD(自适应视图自蒸馏)在多个特权信息视图之间平衡共识信号,并使用视图特定的残差来增强学习。自策略蒸馏(SPD)从梯度中提取能力子空间,以提高性能和泛化能力,尤其是在代码生成和数学推理方面。CEPO(对比证据策略优化)通过对比正确答案和错误答案来锐化关键标记的信用分配,从而提高了多模态数学推理基准的准确性。
-
新的RSE策略回收LLM搜索体验以实现高效的测试时间扩展
研究人员推出了一种名为回收搜索体验(RSE)的新颖方法,以提高大型语言模型测试时间扩展的效率。RSE通过将原始轨迹提炼成一个经验库,将测试时间搜索从孤立的试验转变为累积过程。这使得中间结论的积极回收和失败模式的消极回收成为可能,从而减少了冗余推导并修剪了死胡同。在HMMT24和IMO-Bench等基准测试上的实验表明,在相似的计算预算下,RSE的性能显著优于现有基线。