实体
HMMT
HMMT
PulseAugur coverage of HMMT — every cluster mentioning HMMT across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
关系
最近 · 第 1/1 页 · 共 3 条
-
KVpop 方法在保持性能的同时大幅减少了 LLM 缓存内存使用量
研究人员开发了 KVpop，一种用于压缩自回归解码中键值缓存的新颖方法，这是大上下文窗口的一个重要瓶颈。KVpop 通过使用未来注意力目标直接监督保留或丢弃决策来学习驱逐策略，在保持高性能的同时实现了显著的内存节省。该方法在 Qwen3-4B 和 Qwen3-8B 等模型的数学推理任务上取得了强劲成果，优于现有的驱逐基线，并显著降低了内存成本。
-
新框架使大型语言模型能够在推理过程中共享见解
研究人员推出了一种新颖的、无需训练的协作并行思维（CPT）框架，旨在提高大型语言模型测试时扩展（TTS）的效率。CPT通过实现不同分支之间的搜索时信息共享，解决了并行TTS方法中冗余探索的问题。这使得各分支能够重用他人已有的发现，而不是重新发现相同的信息，从而在HMMT和AIME等基准测试中改善了准确性-延迟权衡。
-
研究发现 MoE 模型在复杂推理任务上错误路由 token
研究人员发现混合专家（MoE）语言模型中存在一个重大问题，即路由机制（将 token 指向特定专家）经常选择次优路径。虽然标准路由器在置信度高的 token 上表现良好，但在复杂推理任务上却无法识别出性能更好的路径。这种错误路由存在于包括 Qwen3、GPT-OSS、DeepSeek-V2 和 OLMoE 在内的几款主流 MoE 模型中。研究表明，即使对路由器进行微小的更新，而不改变专家本身，也能提高在具有挑战性的数学和推理基准测试上…