PulseAugur
中
实时 01:27:25
English(EN) Attention-Based Adaptive Policies for Simultaneous Speech-to-Text Translation

新的注意力策略提升了同步语音到文本翻译的质量和速度

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了两种新的基于注意力的策略：近期帧注意力策略（RFAP）和双条件注意力策略（DCAP），以改进同步语音到文本翻译。这些策略利用交叉注意力机制更好地将输入语音帧与输出文本令牌对齐，使离线训练的模型能够在流式场景中有效运行，而无需额外训练。在CVSS-C语料库上的实验表明，RFAP的BLEU分数比现有策略高出4.0分，同时翻译延迟减少了近一秒，而DCAP在极低延迟下仍保持了高质量的翻译。 AI

影响 这些新策略可以显著提高实时翻译系统的效率和准确性，从而惠及实时字幕和国际交流等应用。

排序理由 该集群包含一篇详细介绍语音到文本翻译新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的注意力策略提升了同步语音到文本翻译的质量和速度

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Filip T\u{a}\c{s}\u{a}dan, Ema Tomanov\'a, Ondrej Lopuch, Pawe{\l} Bilko, Anders S{\o}gaard ·

    用于同步语音到文本翻译的基于注意力的自适应策略

    arXiv:2609.30839v1 Announce Type: new Abstract: Simultaneous speech-to-text translation (Simul-S2TT) consists of generating partial translations while the incoming audio frames are processed by the system. However, the streaming nature of this setup creates the challenge of decid…

相关实体

相关话题