Speech translation
PulseAugur coverage of Speech translation — every cluster mentioning Speech translation across labs, papers, and developer communities, ranked by signal.
-
基于翻译的编码器预训练增强语音大语言模型
一篇新的研究论文提出，在语音大语言模型（Speech LLMs）中使用语音翻译来弥合语音编码器与大语言模型（LLMs）之间的差距。该论文认为，当前的架构存在结构性不匹配，因为编码器通常会产生特定语言的表示，而大语言模型则在统一的、与语言无关的空间中运行。通过将翻译目标纳入语音编码器的预训练中，研究人员发现这可以改善跨模态集成并提高下游语音大语言模型任务的性能。
-
新框架衡量用户对语音翻译AI的理解程度
一项新的研究论文介绍了一个用于研究用户对语音翻译系统心智模型的框架。该研究采用跨语言问答，用户在此过程中决定是接受机器翻译（MT）的输出还是选择专业译员的重新翻译。研究结果表明，用户通过练习可以提高对MT错误的预测能力，特别是如果他们对源语言有所了解的话，并且提供语音转录有助于形成更好的心智模型。这项研究强调了跨语言问答在理解翻译领域人机协作方面的效用。
-
新研究定义机器口译设计优先事项
一篇新发表在arXiv上的论文将“机器口译”（MI）概念引入为语音翻译的一个独立子领域，强调需要超越单纯文本忠实度的评估指标。该研究借鉴了口译研究，指出了改进MI系统的三个关键设计优先事项：主体性、基础性和体验性。这些优先事项旨在弥合可用性差距，实现更真实的实时多语言交流。
-
新技术提高越南语语音翻译准确性
研究人员开发了一种名为音素感知数据增强（PiDA）的新数据增强技术，以改进越南语语音翻译。该方法通过生成基于音素混淆的类ASR（自动语音识别）的损坏来解决级联语音翻译系统中的错误传播问题。在FLEURS越南语-英语数据集上使用PiDA进行微调，提高了对错误ASR输出的翻译准确性，BLEU分数显著提高。
-
新框架揭示语音翻译可用性差距
研究人员开发了Ouvia，一个基于用户在真实场景中感知可用性来评估语音翻译（ST）系统的新框架。一项涉及英葡语者之间超过1750次交互的研究发现，当前的ST系统仅在约一半的情况下可用，且在不同人口统计群体之间存在显著差异。该框架强调了进行情境化、以用户为中心的评估的必要性，这些评估超越了标准的质量指标，以更好地理解ST技术如何服务于不同的用户。