Zachary Englhardt

新技术弥合语音代理的延迟-能力差距

研究人员开发了一种名为“对话填充”的新技术，以解决语音代理中的延迟-能力权衡问题。该方法使用一个小型、快速的“说话者”模型在推理过程中生成即时响应，同时整合来自一个更大、更慢的“推理者”模型的知识。创建了一个包含超过 290,000 个示例的合成数据集来训练七个小型语言模型，证明该方法可以在保持高精度的同时显著缩短响应时间。用户研究表明，采用对话填充的代理在感知能力上与前沿模型相当，并且响应更迅速，尤其是在检索密集型任务中。