Fisher Information Rate

新框架通过费舍尔几何分析扩散模型退化

研究人员开发了一个新框架，通过量化最小均方误差（MMSE）的变化率来分析扩散模型中的潜在空间退化。该框架将MMSE速率分解为费舍尔信息（FI）和费舍尔信息率（FIR）的贡献，揭示FIR受到编码器和数据几何形状之间相互作用的影响。分析确定了导致扩散退化的四种惩罚：维度压缩、切向畸变以及编码器和数据的固有曲率。推导了保持FIR的理论条件以确保扩散的稳定性，并在各种自动编码器架构上的实验验证了这些界限。