MDic

新的MDIC框架利用多模态侧信息改进图像压缩

研究人员开发了一个新的多模态分布式图像压缩（MDIC）框架，旨在在极低比特率下提高图像重建质量。这种新颖的方法独特地以多模态方式利用侧信息，结合文本和视觉数据来保留细粒度的局部细节并增强全局感知质量。该框架采用基于文本到图像扩散的解码器，该解码器以文本侧信息为条件，并采用特征掩码生成器来更好地利用视觉侧信息，从而在基准数据集上取得了最先进的结果。