adventists-ai/DuplexJev-32B

DuplexJev系统使冻结的LLM能够超越文本记录进行聆听

研究人员推出了一种名为DuplexJev的新颖系统，旨在提高全双工语音代理的效率。与传统的缓慢解码不同，DuplexJev将自动语音识别（ASR）编码器的隐藏状态通过一个小型连接器输入到冻结的大型语言模型（LLM）中。这使得系统能够在大约0.1秒内对八个话语做出多个决策，速度远超以往的方法。该系统还展示了识别说话者情绪和性别的能力，准确率达到90%，并且已发布权重和训练流程。