Phi4-Multimodal

新方法利用仅解码器LLM增强同步语音翻译

研究人员正在开发新的同步语音翻译方法，重点关注仅解码器的大型语言模型。一种名为AlignAtt4LLM的方法，通过调整这些模型的注意力机制来提高德语和意大利语等语言的翻译质量，即使在低延迟场景下也是如此。另一种名为DOA的方法，在SpeechLLMs内部使用自注意力机制，在无需重新训练的情况下获得长文本翻译的对齐信号。此外，一个名为Canary的系统，拥有10亿参数，提供了多种语言的离线同步翻译能力。