PulseAugur
中
实时 09:13:36

新研究解决了语言模型中的视听事件感知问题

作者 PulseAugur 编辑部 · [2 个来源] ·

两篇新研究论文介绍了语言模型中视听事件感知的新方法。第一篇ST-OmniQA提出了一个用于移动声源的时空视听推理基准，以及一个名为ST-Omni-R1的模型，该模型集成了视听上下文以改进事件识别和跟踪。第二篇SCoPE提供了一个无需训练的框架，通过利用稀疏的跨模态先验交换，让模态相互引导，从而减轻虚假共激活，增强视听事件感知。 AI

影响 这些进展可能带来更复杂的、能够更深入理解视频中动态事件的多模态AI系统。

排序理由 两篇在arXiv上发表的学术论文，介绍了新的视听事件感知基准和框架。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新研究解决了语言模型中的视听事件感知问题

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Zhi Zeng, Cheng Zhang, Zesheng Yang, Rendong Pi, Jiaying Wu, Di Zhang, Zihan Ma, Guodong Li, Zhou Yang, Yu Xiang, Yifei Zheng, Minnan Luo ·

    倾听、观察与追踪：全模态语言模型的时空视听声事件推理

    arXiv:2608.09435v1 Announce Type: new Abstract: Understanding dynamic sound sources requires jointly determining what produces a sound, where the source is located, and how it moves over time. Yet existing audio-language models often represent clips as global acoustic events, whi…

  2. arXiv cs.CV TIER_1 English(EN) · Jaemo Jeong, Junho Yoon, Hyunju Kim, Dongman Lee ·

    SCoPE：通过稀疏跨模态先验交换进行无需训练的视听事件感知

    arXiv:2608.07923v1 Announce Type: new Abstract: Audio-visual event perception (AVEP) determines which events occur in a video, when they occur, and whether they are audible, visible, or both. Training-free methods query new event vocabularies by matching frozen audio and visual f…

相关实体

相关话题