Spread Mutual Information

新的扩散互信息方法增强了生成模型的控制能力

研究人员推出了一种新方法——扩散互信息（SMI），用于控制隐式生成模型中的统计依赖性。传统的互信息（MI）由于密度难以计算，在这些模型中难以直接评估。SMI通过在噪声水平上积分MI来解决这个问题，这是通过将扩散核应用于生成变量来实现的。这种方法，特别是使用高斯扩散时，可以平滑密度并扩展梯度构造以处理潜在的奇异分布，从而提供有效的依赖性控制，并且与现有的特定任务方法相比具有竞争力。