English(EN) Second-Order Multi-Level Variance Correction for Modality Competition in Multimodal Models

新型优化器ML-FOP-SOAP增强了多模态AI训练的稳定性

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-15 16:45

研究人员开发了一种名为ML-FOP-SOAP的新型二阶优化框架，以解决多模态AI模型中的模态竞争问题。该方法旨在通过减轻视觉和文本数据之间的梯度异质性来稳定训练并改善大批量扩展。在Janus和Emu3上的实验表明，与AdamW等标准优化器相比，样本效率提高了1.4倍，训练速度提高了1.5倍。 AI

影响提高了多模态基础模型的训练效率和稳定性，可能加速其开发和部署。

排序理由发布了一篇详细介绍多模态AI模型新优化框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CV TIER_1 English(EN) · Wes Armour · 2026-05-15 16:45

Second-Order Multi-Level Variance Correction for Modality Competition in Multimodal Models

Autoregressive next-token training offers a unified formulation for image generation and text understanding, but it also creates strong modality competition that destabilizes optimization and limits large-batch scaling. We show that first-order optimizers such as AdamW are vulner…