image-caption datasets

新的PORTAL方法跳过了多模态大语言模型的投影仪训练

研究人员开发了一种名为PORTAL的新方法，用于训练多模态大语言模型（LLMs），该方法绕过了传统的投影仪训练阶段。这种新方法使用每种模态的摘要统计信息来创建基于最优传输的映射，从而有效地跳过了对配对图像-字幕数据和基于梯度的优化的需求。PORTAL在各种LLM和视觉编码器配置上，使用广泛数据集训练的标准流水线，表现强劲，与之相当，甚至在某些设置下表现更优。