研究人员分析了扩散模型去噪分数匹配中不可约的过剩损失。他们发现这种过剩损失与条件终点族的费舍尔-饶度量直接相关,该度量沿着扩散轨迹积分。这种几何特性是训练损失的内在组成部分,将其分为由数据决定的信息流和由噪声调度决定的权重。研究还强调,由于这些加性下界,来自不同噪声范围或权重的原始损失可能无法一致地对模型进行排名。 AI
影响 提供了对扩散模型训练动力学的更深入的理论理解,可能指导未来的模型开发和优化策略。
排序理由 该集群包含一篇详细介绍扩散模型理论研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- denoising score matching
- Diffusion Models
- Fisher geometry
- Information Geometry
- Schrödinger Bridges
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →