Speech translation
PulseAugur coverage of Speech translation — every cluster mentioning Speech translation across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新方法EA-SURF优化多任务语音大语言模型
研究人员开发了一种名为EA-SURF（Endpoint-Anchored Preference-Aware Sampling Uniformly along the Pareto Front）的新方法，以更好地管理多任务语音大语言模型中的任务权衡。该方法在联合训练期间调整标量化权重，以使模型的性能与特定的部署偏好保持一致。EA-SURF旨在改善由此产生的任务权衡，并在实验中显示，与标准的固定损失加权相比，归一化超体积增加了17.8%。
-
新方法EA-SURF优化语音大语言模型任务权衡
研究人员开发了一种名为EA-SURF的新方法，以解决语音大语言模型（LLMs）中的任务权衡问题。这些模型通常执行多种任务，如语音识别、时间戳预测和语音翻译，联合训练可能导致这些任务之间的妥协。与使用固定损失权重的标准训练方法不同，EA-SURF在训练过程中调整标量化权重，以使模型的性能与特定的部署偏好保持一致。这种方法已被证明可以提高性能，在六种不同的语音大语言模型请求中，端点包含的归一化超体积提高了17.8%。
-
新的LPR方法增强了语音到LLM的桥接预训练
研究人员开发了一种名为局部原型重建（LPR）的新预训练方法，以提高语音到LLM系统的性能。LPR专注于确保语音和语言模型之间的桥梁与LLM的嵌入空间保持兼容性，超越了诸如下一个词预测等标准目标。这种方法在多语言自动语音识别（ASR）和语音翻译任务中取得了显著的进步，尤其是在低资源适应场景下。
-
新方法合成伪方言语音以提升SLM性能
研究人员开发了一种新颖的方法，通过合成伪方言语音来提高语音语言模型（SLM）在各种方言上的性能。该技术使用标准语言文本到语音模型将方言文本转换为语音，无需真实的方言语音数据。该方法在日语和德语的方言到英语语音翻译方面有所改进，并通过中间标准文本预测步骤进一步提高了性能，尤其有利于中文方言。
-
新框架增强LLM处理和理解语音的能力
两篇新的研究论文提出了一种将语音处理与大型语言模型（LLM）集成的新颖框架。DirectSpeech2LLM旨在通过在冻结的LLM嵌入上使用CTC损失来缓解语音-LLM中的提示过拟合，从而实现对语音翻译等未见任务的泛化。DuplexJev提供了一种通过将ASR编码器状态馈送到冻结的LLM来实现实时、批量语音决策的方法，使其能够‘听到’超越文本记录的内容，并在口语问答和情感识别等任务中取得高精度。
-
基于翻译的编码器预训练增强语音大语言模型
一篇新的研究论文提出，在语音大语言模型（Speech LLMs）中使用语音翻译来弥合语音编码器与大语言模型（LLMs）之间的差距。该论文认为，当前的架构存在结构性不匹配，因为编码器通常会产生特定语言的表示，而大语言模型则在统一的、与语言无关的空间中运行。通过将翻译目标纳入语音编码器的预训练中，研究人员发现这可以改善跨模态集成并提高下游语音大语言模型任务的性能。
-
新框架衡量用户对语音翻译AI的理解程度
一项新的研究论文介绍了一个用于研究用户对语音翻译系统心智模型的框架。该研究采用跨语言问答，用户在此过程中决定是接受机器翻译（MT）的输出还是选择专业译员的重新翻译。研究结果表明，用户通过练习可以提高对MT错误的预测能力，特别是如果他们对源语言有所了解的话，并且提供语音转录有助于形成更好的心智模型。这项研究强调了跨语言问答在理解翻译领域人机协作方面的效用。
-
新研究定义机器口译设计优先事项
一篇新发表在arXiv上的论文将“机器口译”（MI）概念引入为语音翻译的一个独立子领域，强调需要超越单纯文本忠实度的评估指标。该研究借鉴了口译研究，指出了改进MI系统的三个关键设计优先事项：主体性、基础性和体验性。这些优先事项旨在弥合可用性差距，实现更真实的实时多语言交流。
-
新技术提高越南语语音翻译准确性
研究人员开发了一种名为音素感知数据增强（PiDA）的新数据增强技术，以改进越南语语音翻译。该方法通过生成基于音素混淆的类ASR（自动语音识别）的损坏来解决级联语音翻译系统中的错误传播问题。在FLEURS越南语-英语数据集上使用PiDA进行微调，提高了对错误ASR输出的翻译准确性，BLEU分数显著提高。
-
新框架揭示语音翻译可用性差距
研究人员开发了Ouvia，一个基于用户在真实场景中感知可用性来评估语音翻译（ST）系统的新框架。一项涉及英葡语者之间超过1750次交互的研究发现，当前的ST系统仅在约一半的情况下可用，且在不同人口统计群体之间存在显著差异。该框架强调了进行情境化、以用户为中心的评估的必要性，这些评估超越了标准的质量指标，以更好地理解ST技术如何服务于不同的用户。