实体
Ildus Sadrtdinov
Ildus Sadrtdinov
PulseAugur coverage of Ildus Sadrtdinov — every cluster mentioning Ildus Sadrtdinov across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的热力学框架将神经网络训练建模为理想气体行为
研究人员开发了一个热力学框架，用于分析使用随机梯度下降（SGD）训练的尺度不变神经网络的训练动力学。该框架将学习率和权重衰减等训练超参数与温度和压力等热力学变量进行了类比。研究发现 SGD 动力学与理想气体的行为之间存在很强的相关性，这得到了理论分析和模拟的支持。这种方法为理解神经网络训练提供了新的视角，并可能为未来的超参数优化和学习率调度方法提供信息。
-
扩散模型在离散数据上遇到困难；新方法提高质量
研究人员发现高斯扩散模型应用于离散数据时的一个关键问题，特别是注意到 DDPM 求解器在导致多峰分布的采样间隔上存在困难。这可能导致生成分布外的输入，从而降低样本质量。该论文提出了包括自适应条件和一种新颖的 q-采样求解器在内的解决方案，当这些方法结合使用时，在文本、代码和蛋白质领域均展示了生成质量的提高。