研究人员开发了一种名为“注意力引导的表示扰动用于对比解码”(ARP-CD)的无训练框架,以解决视频大语言模型(Video LLMs)中的幻觉问题。该方法通过使用分配给视觉标记的注意力质量来指导语言模型输入视觉隐藏状态的更新,直接在表示空间中构建对比负样本。在四个 Video LLMs 和四个基准上的实验表明,ARP-CD 有效地减少了幻觉并增强了通用视频理解能力,在大多数情况下优于现有的无训练基线。 AI
影响 这项研究提供了一种提高 Video LLMs 可靠性和准确性的方法,有望带来更好的视频理解应用。
排序理由 该集群描述了一篇关于视频大语言模型改进新方法的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Attention-guided Representation Perturbation for Contrastive Decoding
- Hugging Face
- language model
- Video LLMs
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →