Full-duplex spoken dialogue

大型语言模型对话系统在全双工交互中面临路由权衡

研究人员探讨了大型语言模型如何在全双工对话系统中有效地处理用户输入，同时生成口语响应。他们比较了两种方法：通道融合（将用户输入直接集成到大型语言模型的输入流中）和交叉注意力路由（使用通过交叉注意力访问的外部内存）。通道融合提高了语义基础和问答准确性，但容易在中断期间发生上下文损坏。交叉注意力路由通过保留生成上下文，对中断更具鲁棒性，尽管其在问答方面的表现较低。