encoder-based MLLMs

Hugging Face论文：无编码器多模态模型在大规模下展现潜力

Hugging Face的一篇新论文探讨了无编码器多模态大语言模型（MLLMs）的潜力。研究表明，移除传统的视觉编码器可以将最优计算分配转移到更大的模型上，并表明无编码器架构可以在大约10^22 FLOPs时赶上基于编码器的模型。研究还发现，在没有专用视觉编码器的情况下，语言模型本身会适应并承担这一角色，并且在更大规模下收益会增加。