Aryan Vijay Bhosale

新的TORUS测试揭示统一音频模型自洽性有限

研究人员引入了TORUS，一种新颖的自洽性测试，用于评估统一音频模型。该测试评估单个模型不同组件是否就相同的音频输出达成一致，这是当前评估方法常常忽略的一个关键方面。TORUS框架包含48个测试，涵盖语音、声音和音乐的432个问题，涉及五个任务家族。对五个开放统一模型的初步评估显示自洽性有限，最佳模型的准确率仅为50.5%，而专门模型的级联基线准确率为63.2%。研究结果强调了未来音频系统，特别是音频编辑任务中提高自洽性的必要性。