UniRGBA-VAE

UniRGBA框架统一了视频扩散模型中的RGB和Alpha通道

研究人员开发了UniRGBA，一个在预训练视频扩散模型中统一RGB和Alpha通道生成的新框架。与之前需要专门架构或抠图式数据的方***不同，UniRGBA通过对现有RGB路径进行***、有针对性的扩展来集成Alpha通道支持。这种方法，包括扩展视频VAE并对Diffusion Transformer应用标准的DoRA，在不影响RGB保真度或架构通用性的前提下，显著提高了RGBA重建和文本到视频生成能力。