实体
DuplexJev
DuplexJev
PulseAugur coverage of DuplexJev — every cluster mentioning DuplexJev across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新框架增强LLM处理和理解语音的能力
两篇新的研究论文提出了一种将语音处理与大型语言模型(LLM)集成的新颖框架。DirectSpeech2LLM旨在通过在冻结的LLM嵌入上使用CTC损失来缓解语音-LLM中的提示过拟合,从而实现对语音翻译等未见任务的泛化。DuplexJev提供了一种通过将ASR编码器状态馈送到冻结的LLM来实现实时、批量语音决策的方法,使其能够‘听到’超越文本记录的内容,并在口语问答和情感识别等任务中取得高精度。
-
DuplexJev系统使冻结的LLM能够超越文本记录进行聆听
研究人员推出了一种名为DuplexJev的新颖系统,旨在提高全双工语音代理的效率。与传统的缓慢解码不同,DuplexJev将自动语音识别(ASR)编码器的隐藏状态通过一个小型连接器输入到冻结的大型语言模型(LLM)中。这使得系统能够在大约0.1秒内对八个话语做出多个决策,速度远超以往的方法。该系统还展示了识别说话者情绪和性别的能力,准确率达到90%,并且已发布权重和训练流程。