Chain of Evidence (CoE)

新框架应对大型视觉语言模型中的视频推理挑战

研究人员开发了新的框架来应对大型视觉语言模型（LVLMs）在视频推理方面的挑战。一种方法是“证据链”（Chain of Evidence, CoE），它通过使用轻量级的接地模块和证据锚定协议，将接地与推理解耦，以提高效率并减少幻觉。另一种方法是GroundFormer，它通过在定位之前根据问题语义对视频特征进行条件化，将问题意图与时间证据相结合，旨在改进问题区分性接地。这两种方法在各种视频理解基准测试中都展示了最先进的性能。