实体
SpeechLLMs
SpeechLLMs
PulseAugur coverage of SpeechLLMs — every cluster mentioning SpeechLLMs across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新方法利用仅解码器LLM增强同步语音翻译
研究人员正在开发新的同步语音翻译方法，重点关注仅解码器的大型语言模型。一种名为AlignAtt4LLM的方法，通过调整这些模型的注意力机制来提高德语和意大利语等语言的翻译质量，即使在低延迟场景下也是如此。另一种名为DOA的方法，在SpeechLLMs内部使用自注意力机制，在无需重新训练的情况下获得长文本翻译的对齐信号。此外，一个名为Canary的系统，拥有10亿参数，提供了多种语言的离线同步翻译能力。
-
SpeechLLMs在翻译基准测试中表现参差不齐，级联系统仍占主导地位
一项新的综合测试套件“Hearing to Translate”已被开发出来，用于评估将语音模态直接集成到大型语言模型（LLMs）中进行语音到文本翻译的有效性。该研究将六个最先进的SpeechLLMs与十六个级联系统进行了基准测试，分析了在16个基准、13种语言对和9种挑战性条件下的性能。研究结果表明，虽然级联系统总体上仍然最可靠，但最近的SpeechLLMs在特定场景下可以与之匹敌甚至超越它们，而独立的Speech Foundati…