DuplexAct

新框架推动全双工口语模型实现实时交互 · 跟踪3个来源

研究人员开发了全双工口语模型（FD-SLMs）的新框架和基准，该模型可以同时进行听和说。DuplexAct引入了一个包含三级动作分类和真实对话数据的基准，用于评估FD-SLMs中的交互动作。D2框架将现有的半双工模型转换为低延迟的高性能FD-SLMs，在VoiceBench等基准上取得了最先进的性能。此外，JAL-Turn通过联合建模声学和语言线索，为对话系统中的实时轮次检测提供了一种轻量级的纯语音方法。