实体
Krishnakumar Balasubramanian
Krishnakumar Balasubramanian
PulseAugur coverage of Krishnakumar Balasubramanian — every cluster mentioning Krishnakumar Balasubramanian across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新的因果发现方法应对隐藏混淆和偏差 · 跟踪 4 个来源
研究人员开发了从观测数据中发现因果关系的新方法，解决了隐藏混淆和结构偏差等挑战。一篇论文介绍了 StruBI，一种通过分析因果机制转移来识别结构偏差的算法，在合成数据和真实世界数据上的表现优于现有方法。另一种方法 FoundCause 是一个在合成数据上训练的摊销因果发现模型，可以单次传递将数据集映射到因果图，明确地对潜在混淆进行建模，并在各种数据集上取得了优异的结果。此外，一个名为 Balanced Twins 的框架解决了隐藏混淆…
-
线性Transformer训练动力学在高学习率下揭示混沌吸引子
研究人员分析了简化的线性Transformer模型的训练动力学，特别关注大步长学习率如何影响收敛。他们的研究表明，在超过一定的稳定性阈值后，高学习率可能导致训练吸引子产生循环、有界混沌或发散，而不是直接的解决方案。研究结果表明，大的恒定学习率会从根本上改变所学Transformer的行为，影响收敛结果。
-
新的OptMuon方法通过自适应动量增强随机优化
研究人员推出了一种新颖的自适应动量正交化方法OptMuon，用于随机非凸优化，该方法通过观察到的轨迹校准更新幅度。该方法将Muon风格的方向与依赖于轨迹的系数计划相结合，避免了对平滑度常数或方差水平的依赖。OptMuon为噪声自适应性和零噪声最优性提供了理论保证，在无需手动调整超参数的情况下，可降低到接近最优的确定性速率。