Hear2Act

新的基准 Hear2Act 测试 AI 助手使用韵律的能力

研究人员推出了 Hear2Act，这是一个旨在评估 AI 助手在多大程度上能够解释和响应语音韵律线索的新基准。该基准包含 480 个场景，其中韵律可以传达仅凭文本无法获得的至关重要信息。在测试中，能够处理音频的大型语言模型 (LLM) 在任务完成率方面有了显著提高，从 14.6% 上升到 39.6%，当它们能够推断并利用韵律信息进行决策时，相比仅依赖文本转录。