HMMT25
PulseAugur coverage of HMMT25 — every cluster mentioning HMMT25 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
研究发现自蒸馏会损害先进人工智能思考模型
一篇新的研究论文揭示，自蒸馏（一种语言模型利用自身推理来改进的技术）实际上会损害先进“思考模型”的性能。在测试中，当处理数学问题等复杂推理任务时，使用特权上下文蒸馏的这些模型准确率显著下降，最高可达17%。这种效应在推理链更长时更为明显，并且似乎源于特权教师上下文如何在模型推理过程的关键决策点改变学习。
-
新方法通过分析置信度动态来优化 LLM 推理
两篇新的研究论文提出通过分析大型语言模型（LLM）在推理过程中的置信度水平来优化其推理时间的方法。第一篇论文 EAGer 使用了 token 级熵来动态分配计算资源，仅在不确定性高时才分支到多个推理路径。第二篇论文置信度动态增益（CDG）观察到，正确的推理轨迹往往会随着时间的推移而提高置信度，而错误的轨迹则会下降，并利用这种动态来选择更好的答案。这两种方法在复杂推理基准测试中都显示出显著的性能提升和计算量减少。
-
新的自蒸馏方法提高了大型语言模型在推理任务上的性能
研究人员开发了新的大型语言模型自蒸馏技术，可在不依赖外部反馈的情况下提高其性能。AVSD（自适应视图自蒸馏）在多个特权信息视图之间平衡共识信号，并使用视图特定的残差来增强学习。自策略蒸馏（SPD）从梯度中提取能力子空间，以提高性能和泛化能力，尤其是在代码生成和数学推理方面。CEPO（对比证据策略优化）通过对比正确答案和错误答案来锐化关键标记的信用分配，从而提高了多模态数学推理基准的准确性。
-
新的RSE策略回收LLM搜索体验以实现高效的测试时间扩展
研究人员推出了一种名为回收搜索体验（RSE）的新颖方法，以提高大型语言模型测试时间扩展的效率。RSE通过将原始轨迹提炼成一个经验库，将测试时间搜索从孤立的试验转变为累积过程。这使得中间结论的积极回收和失败模式的消极回收成为可能，从而减少了冗余推导并修剪了死胡同。在HMMT24和IMO-Bench等基准测试上的实验表明，在相似的计算预算下，RSE的性能显著优于现有基线。