Hear2Act

新的基准测试 Hear2Act 评估 AI 对语音韵律的理解能力

研究人员开发了 Hear2Act，这是一个旨在评估 AI 助手理解和响应口语中语音韵律线索能力的新基准测试。该基准测试包含 480 个场景，其中相同的用户关切可以通过语言或语音语调来传达。在测试中，能够处理音频的大型语言模型 (LLM) 在能够从语音韵律推断用户关切并明确表示它们时，与仅依赖文本记录相比，任务完成率有了显著提高（从 14.6% 提高到 39.6%）。