Recent Frame Attention Policy

新的注意力策略提升了同步语音到文本翻译的质量和速度

研究人员开发了两种新的基于注意力的策略：近期帧注意力策略（RFAP）和双条件注意力策略（DCAP），以改进同步语音到文本翻译。这些策略利用交叉注意力机制更好地将输入语音帧与输出文本令牌对齐，使离线训练的模型能够在流式场景中有效运行，而无需额外训练。在CVSS-C语料库上的实验表明，RFAP的BLEU分数比现有策略高出4.0分，同时翻译延迟减少了近一秒，而DCAP在极低延迟下仍保持了高质量的翻译。