OmniACBench

新的OmniACBench基准揭示了全模态AI语音控制的局限性

研究人员推出OmniACBench，一个旨在评估全模态AI模型在语音输出中控制声学特征能力的新基准。该基准评估六个关键特征：语速、发声、发音、情感、全局口音和音色。对八种不同模型的实验显示，即使它们在传统的基于文本的评估中表现良好，但在生成具有适当语气和语调的语音方面仍存在显著局限性。研究结果表明，主要挑战在于整合多模态上下文以实现有效的语音生成，而不是处理单个模态。