TFO

新的 TFO 框架在无需重新训练的情况下为冻结的视觉语言模型增加了语音理解能力

研究人员开发了一种新颖的框架——Training-Free Omni (TFO)，该框架能够增强冻结的视觉语言模型 (VLM)，使其在无需进行架构更改或广泛的多模态再训练的情况下理解语音。TFO 利用 Whisper 提取和过滤语音转录，并通过 VLM 现有的语言接口进行路由，同时保持视觉通路不变。这种方法在视听理解任务上表现出具有竞争力的性能，并在各种基准测试中显著提高了多语言语音能力，同时保留了 VLM 原始的视觉和推理能力。