Farhad Abtahi

新基准 MEDLEY-BENCH 测试 LLM 在社会压力下的信念修正

研究人员推出了 MEDLEY-BENCH，这是一个旨在评估大型语言模型在面对冲突证据或社会压力时如何修正其信念的新基准。与仅关注最终答案质量的基准不同，MEDLEY-BENCH 评估结构化的私有自我审查和分析师条件下的社会修正。对 12 个家族的 35 个模型的初步评估显示，在信念修正方面表现各异，大多数模型在“评估映射”复合指标上的得分普遍较低。