PulseAugur
中
实时 10:00:42

研究发现：LLM在调查和评估中未能通过心理测量审计

作者 PulseAugur 编辑部 · [2 个来源] ·

两篇新研究论文质疑使用大型语言模型（LLM）作为合成调查受访者或评估AI能力的有效性。第一篇论文《Plausible but Not Valid》发现，尽管LLM可以生成看似合理的回答，但它们无法复制人类调查数据的心理测量特性，在关键指标上，高斯联结基线模型的表现优于LLM。第二篇论文《Do Assessment Instruments Measure the Same Thing for Humans and LLMs?》分析了高中化学和大学入学考试数据，揭示了人类和LLM回答之间潜在结构的系统性差异，表明当前的评估方法可能无法准确反映AI的能力。 AI

影响 这些研究表明，当前的LLM评估方法可能存在缺陷，可能影响AI系统的开发和部署。

排序理由 两篇在arXiv上发表的学术论文提出了关于LLM在特定评估情境下局限性的新研究发现。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

研究发现：LLM在调查和评估中未能通过心理测量审计

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Mantas Lukauskas, Viktorija \v{S}arkauskait\.e ·

    貌似合理但无效：大型语言模型作为合成调查受访者的心理测量学审计

    arXiv:2608.14606v1 Announce Type: cross Abstract: Large language models (LLMs) are increasingly used as synthetic survey respondents, but existing evaluations ask whether answers look plausible at the individual level. We argue the right question is psychometric: do LLMs preserve…

  2. arXiv cs.AI TIER_1 English(EN) · Alona Strugatski, Licol Zeinfeld, Giora Alexandron ·

    评估工具对人类和大型语言模型（LLMs）的衡量标准是否一致？一项潜在结构分析

    arXiv:2608.15630v1 Announce Type: cross Abstract: The rapid development and growing deployment of large language models (LLMs) have made it increasingly important to understand their capabilities. A common approach is to evaluate LLMs using assessment instruments originally desig…

相关实体

相关话题