Tuna 2

Tuna-2 模型摒弃视觉编码器，采用直接像素嵌入，达到 SOTA 水平

研究人员开发了 Tuna-2，这是一种新颖的统一多模态模型，它绕过了传统的视觉编码器来进行视觉理解和生成。通过直接处理像素嵌入，Tuna-2 简化了架构，并实现了从原始像素到端到端的优化。实验表明，这种像素空间方法在多模态基准测试中取得了最先进的成果，在生成高质量图像方面优于潜在空间方法，并展现出卓越的多模态理解能力，尤其是在需要详细视觉感知的任务上。