PulseAugur
中
实时 09:25:58
English(EN) MEDLEY-BENCH: Benchmarking Behavioural Metacognition and Belief Revision Under Social Pressure in Large Language Models

新基准 MEDLEY-BENCH 测试 LLM 在社会压力下的信念修正

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了 MEDLEY-BENCH，这是一个旨在评估大型语言模型在面对冲突证据或社会压力时如何修正其信念的新基准。与仅关注最终答案质量的基准不同，MEDLEY-BENCH 评估结构化的私有自我审查和分析师条件下的社会修正。对 12 个家族的 35 个模型的初步评估显示，在信念修正方面表现各异，大多数模型在“评估映射”复合指标上的得分普遍较低。 AI

影响 该基准可能促使对 LLM 进行更鲁棒的评估，这些评估将考虑信念修正和社会影响。

排序理由 该集群包含一篇介绍用于评估 LLM 行为的新基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新基准 MEDLEY-BENCH 测试 LLM 在社会压力下的信念修正

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Farhad Abtahi, Abdolamir Karbalaie, Eduardo Illueca-Fernandez, Fernando Seoane ·

    MEDLEY-BENCH：在社会压力下对大型语言模型进行行为元认知和信念修正基准测试

    arXiv:2604.16009v2 Announce Type: replace Abstract: Most large language model benchmarks evaluate final-answer quality but reveal little about how models revise beliefs under disagreement or conflicting evidence. We introduce MEDLEY-BENCH, an open benchmark comparing structured p…

相关话题