Omni Large Language Models

新的以文本为中心的后训练方法可提升多模态大语言模型的推理能力

研究人员开发了一种以文本为中心的后训练方法，以提高大型语言模型的多模态推理能力，特别是针对处理文本和视听数据的模型。该方法包括初步的纯文本推理训练，这显著提高了推理分数，同时降低了计算成本。随后的精炼阶段使用缩减的视听数据数据集来增强感知能力，而不会大幅损失推理收益。与基础版本相比，该方法已显示出将 Qwen2.5-Omni-7B 模型的推理能力提高了 25% 以上，同时使用的 GPU 时间更少。