研究人员推出了ScreenASR-Bench，这是一个旨在评估语音识别模型（特别是那些结合视觉上下文的模型）的新基准。该基准包含三个层级：显式文本证据（ETE）、显式视觉证据（EVE）和隐式语义证据（ISE），每个层级呈现不同程度的视觉信息。使用包括大型语音语言模型（LALMs）和Omni模型在内的各种模型进行的实验表明，与仅音频的方法相比，视觉上下文显著提高了语音识别的召回率。研究发现，模型在直接视觉证据（ETE）下表现最佳，而在利用细微视觉信息方面需要进一步开发，在间接语义线索（ISE）下效果较差。 AI
影响 该基准通过突出整合视觉上下文的益处和挑战，可能推动语音识别的进步。
排序理由 该集群描述了一个用于评估AI模型的新学术基准，发布在arXiv上。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Explicit Textual Evidence
- Explicit Visual Evidence
- Hugging Face
- Implicit Semantic Evidence
- Large Audio-Language Models
- Omni models
- ScreenASR-Bench
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
