Implicit Semantic Evidence

新基准评估带有视觉上下文的语音识别

研究人员推出了ScreenASR-Bench，这是一个旨在评估语音识别模型（特别是那些结合视觉上下文的模型）的新基准。该基准包含三个层级：显式文本证据（ETE）、显式视觉证据（EVE）和隐式语义证据（ISE），每个层级呈现不同程度的视觉信息。使用包括大型语音语言模型（LALMs）和Omni模型在内的各种模型进行的实验表明，与仅音频的方法相比，视觉上下文显著提高了语音识别的召回率。研究发现，模型在直接视觉证据（ETE）下表现最佳，而在利…