OmniLV

Lumina-OmniLV框架统一了100多项低层视觉任务

研究人员推出Lumina-OmniLV，一个专为广泛低层视觉任务设计的统一多模态框架。该框架基于Diffusion Transformer架构构建，可处理包括图像恢复、增强、密集预测和风格化在内的100多项子任务。它支持通过文本和视觉提示进行灵活的用户交互，并能处理任意分辨率，在1K分辨率下表现最佳，同时保留精细细节。研究强调了分别编码文本和视觉指令以及通过浅层特征控制进行联合训练的重要性，以提高多任务泛化能力并减少歧义。