Andrew E Silva

苹果研究人员质疑大语言模型裁判在写作风格评估中的作用

来自 Apple Inc. 的研究人员发表了一篇论文，研究大型语言模型（LLM）作为评估个性化写作风格的裁判的有效性。他们的研究发现，LLM 裁判的表现与 MMLU 等通用 LLM 能力的相关性较弱，并且根据写作任务和评估标准的不同而有显著差异。这篇被 NeurIPS 2026 会议工作坊录用的论文表明，LLM 在进行成对比较时比独立评分更一致，并且能力最强的 LLM 不一定能提供最可靠的人类评估。