实体
Dibyakanti Kumar
Dibyakanti Kumar
PulseAugur coverage of Dibyakanti Kumar — every cluster mentioning Dibyakanti Kumar across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Langevin Monte Carlo算法可证明地学习深度为二的神经网络
一篇新的研究论文表明，Langevin Monte Carlo (LMC)算法可以有效地训练深度为二的神经网络。该研究证明，无论网络的大小或使用的训练数据如何，LMC都可以最小化这些网络的总体风险。这是通过证明LMC迭代收敛到特定正则化损失的Gibbs分布来实现的，其收敛速率取决于Gibbs测度的Poincare常数。
-
新框架证明了注意力和LoRA模型的可训练性
研究人员为机器学习模型中的多头注意机制和低秩自适应（LoRA）的随机训练建立了一个严格的框架。他们的工作证明，对于某些正则化，注意层和LoRA都会为其各自的Gibbs测度产生Poincaré不等式。这一发现很重要，因为Poincaré常数对于LoRA来说独立于数据维度，对于多头注意力来说独立于头维度，根据最近的结果，这意味着模仿SGD的随机微分方程可以最小化相关的损失。这些注意力和神经网络的可训练性结果是新颖的，并且不依赖于数据或模型大小的假设。