一项新研究挑战了基于大型语言模型（LLMs）与人类编码员一致性来评估的普遍做法，认为人类共识并非总是真理。研究人员发现，虽然大型语言模型与人类在编码教育者信息上的一致性低于人类之间的平均一致性，但独立专家在不了解来源的情况下，对人类和大型语言模型的编码的偏好率几乎相等。该研究表明，人类共识有时会编码大型语言模型不复制的共同偏见，并提出了一个新的验证协议，以更准确地评估大型语言模型。 AI
影响 挑战了大型语言模型的标准评估指标，可能改变定性任务中模型质量的评估方式。
排序理由 该集群包含一篇详细介绍评估大型语言模型性能新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
