SPEARBench

新的SPEARBench评估流式语音到语音模型的自然度

研究人员推出了SPEARBench，这是一个旨在评估流式语音到语音语言模型自然度的新基准。与传统基准不同，SPEARBench侧重于对话方面，如时机、轮流和情感适宜性。该基准使用来自Seamless Interaction语料库的提示，并从多个维度评估模型，包括延迟、中断和方言一致性。初步结果表明，尽管当前模型表现出高信号质量和低错误率，但在几个关键领域仍未达到人类对话行为的水平。