新论文应对人工智能评估可复现性危机

一篇新发表在arXiv上的论文解决了人工智能评估中的可复现性危机，特别是针对大型语言模型（LLMs）。研究强调，当前的评估实践通常每个项目使用的标注太少，并且缺乏持久的评分者标识符，导致难以模拟个体偏见和主观意见。作者提出了一种多层自举方法来更真实地模拟标注者行为，分析了统计显著性所需的项目数量和响应数量之间的权衡。 AI

影响 满足了对可靠人工智能评估的关键需求，可能提高LLMs的信任度和安全性。

排序理由 该集群包含一篇发表在arXiv上的研究论文，详细介绍了一种改进人工智能评估可复现性的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Deepak Pandita
• Gotit.pub
• Hugging Face
• IArxiv
• Influence Flower
• large language models
• LLMs
• ScienceCast

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →