AcoustiClaim

新的 AcoustiClaim 基准揭示了音频语言模型存在显著错误

开发了一个名为 AcoustiClaim 的新基准，用于评估音频语言模型在陈述声学量数值声明方面的准确性。该基准从文本中提取数值声明，并根据仪器参考对其进行评分，按参考来源对数量进行分类。对包括一个闭源模型在内的五个模型的实验显示，错误率很高，许多模型未能超过恒定预测器的基准。即使使用校准阈值，错误减少也有限，并且一些指标持续保持高位。