Keston Aquino-Michaels
PulseAugur coverage of Keston Aquino-Michaels — every cluster mentioning Keston Aquino-Michaels across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
稀疏注意力方法由于路由吸收，相对于随机门收益有限
一篇新的研究论文探讨了 Transformer 中稀疏注意力机制的“路由吸收”现象。该研究在具有 3100 万参数的 Transformer 和 Qwen3-1.7B 模型上进行，表明当与模型联合训练时，学习到的门相比随机门带来的好处有限。这归因于模型的表征会与施加的掩码共同适应，从而降低了学习到的路由的附加值。研究提出门和模型之间的参数不对称是促成因素之一，并强调了在稀疏注意力方法中随机路由控制以及路由质量和模型适应性单独评估的重要性。
-
新的训练方法提高了循环记忆模型性能
一篇新的研究论文介绍了一种名为“正交化读出”（Orthogonalized Read）的训练技术，旨在提高循环记忆模型的性能。该方法应用于乘法长短期记忆网络（LSTMs）的读出阶段，充当支架，帮助模型更有效地摆脱训练瓶颈。研究表明，该技术具有自洽性，在不同的学习率和难度级别下表现一致，并且可以移除而不影响最终模型的准确性，这表明许多报告的召回基准测试的改进可能与可训练性有关，而非架构改进。
-
AI与人类合作完全解决了 Donald Knuth 的“Claude Cycles”问题
一家AI初创公司与Donald Knuth教授合作解决了他的“Claude Cycles”问题，这是一个图分解猜想。最初，一个名为Claude Opus 4.6的AI系统花费约一小时探索了该问题，并产生了一篇题为“Claude's Cycles”的论文。随后的工作涉及多个AI系统和人类，其中GPT-5.4 Pro以及Claude和GPT的组合方法为该问题的奇偶情况的完全解决做出了贡献。通过使用Lean等工具对证明进行形式化，这些努力得…