ActivityNet-QA

新方法解决视频大模型中的幻觉问题

研究人员开发了几种新方法来解决视频大模型（VLMMs）中的幻觉问题。一种方法 MultiToP，通过选择性地用全局补丁标记替换不可靠的视觉标记来在语言生成之前对其进行精炼。另一种方法 ViSSRes，使用轻量级网络增强视频表示，以提高时空和语义一致性。第三种技术侧重于精炼文本嵌入，以鼓励更好地整合视觉信息并减少对语言先验的过度依赖。这些方法在减少幻觉率和提高各种基准测试中的视频理解能力方面显示出显著的改进。