Qiuyu Kong

新的RoSA框架解决了长文本图文对齐中的显著性坍塌问题

研究人员推出RoSA，一个旨在通过解决“显著性坍塌”问题来改进长文本图文对齐的新型框架。这种现象发生在AI模型过度依赖视觉上显著的文本，而忽略了不太显著但仍具信息量的内容。RoSA将图文对分解为显著性视图和上下文视图，促进显著性和上下文语义的联合学习。该框架采用一种独立于模态的分解策略，结合视觉显著性估计和基于LLM的文本分解，并使用辅助目标来确保鲁棒的表示和现有微调方法的持续收益。