苹果研究：大语言模型法官受相关错误影响，降低评估有效性

来自苹果机器学习研究的一篇新论文揭示，由于相关错误的存在，使用多个大语言模型（LLMs）作为评估小组的法官，其效果不如预期。研究发现，由九个大语言模型组成的评估小组，其提供的有效信息量相当于只有两个独立投票，因为模型在相同项目上会犯相似的错误。这显著降低了评估小组的准确性，相比独立投票本应达到的效果，在某些情况下，一个表现强劲的法官甚至优于整个评估小组。 AI

影响 突显了当前大语言模型评估实践中的一个关键缺陷，表明需要更多样化和独立的评估方法。

排序理由 该集群包含一篇研究论文，详细介绍了LLM评估中的新方法和发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 Apple Machine Learning Research 阅读 →

• Apple Machine Learning Research
• Condorcet null model
• Guneet Kohli
• Kish effective sample size
• LLM
• Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels
• RewardBench

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →