DuplexJev

DuplexJev让冻结的LLM在理解超越文本的语音方面取得突破

研究人员开发了DuplexJev，一个新颖的系统，使冻结的大型语言模型（LLMs）能够处理超越简单转录的语音音频。通过将音频编码器的隐藏状态通过一个小型连接器直接馈送到LLM中，DuplexJev可以在约0.1秒内使用8个GPU节点回答关于八个语音片段的问题。这种方法不仅能让LLM理解语音内容，还能以高达90%的准确率辨别说话者的情绪和性别。