研究人员推出了ETC-Bench,这是一个新颖的多语言基准,旨在评估评估端的语音转录规范化。该基准解决了相同语音存在不同书面转录的挑战,其中差异并非源于语音信号本身。ETC-Bench涵盖12种语言的181种现象类型,使用最小对来评估规范化准确性和语义保留,通过一种称为SENA的指标。该研究还提出了引导式代理规范化技能(TACS)来提高LLM代理在此任务中的性能,并证明了其优于基线系统的有效性。 AI
影响 标准化语音转录差异的评估,可能改进依赖于准确转录的下游NLP应用。
排序理由 该集群描述了一个新的学术基准和特定NLP任务的相关方法。 [lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- BERTScore
- ETC-Bench
- evaluation-side transcript canonicalization
- Hugging Face
- LLM agents
- Taxonomy-guided Agent Canonicalization Skill
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →