Spoken Dialogue Systems

新方法通过诊断 ASR-LLM 错误来增强语音对话系统

研究人员开发了一种新颖的方法来改进语音对话系统，通过解决级联自动语音识别 (ASR) 和大型语言模型 (LLM) 管道中的错误传播问题。这种新方法通过分析深度 ASR 潜在表示，使用细粒度检测器来识别感知、理解和删除失败等特定错误类型。这种诊断智能使 LLM 能够实施有针对性的澄清策略，从而在各种条件下显著降低词错误率 (WER) 并提高下游任务性能。