SRCoD

新框架旨在提高AI基准测试的可靠性

两篇新的研究论文提出了用于诊断评估AI模型的多模态基准测试可靠性的新颖框架。第一篇论文介绍了SRCoD，一个结构-响应协同校准诊断框架，它分析基准测试内容和模型响应，以识别可能仅通过单一模态或答案选项规律即可解决的项目。第二篇论文提出了BSDProbe，一个项目级框架，它表征正确性转换和支持证据，以识别基准测试中可能异常的项目。两种方法都旨在提供比总体准确率分数更细粒度的基准测试有效性见解。