Landis & Koch

LLM 裁判评估需要数百个标签才能获得可靠结果

最近一篇文章强调了在使用 LLM 作为 AI 模型评估裁判时，需要更大的评估数据集。作者解释说，使用小型临时数据集的常见做法不足以实现可靠的校准。为了使具有中等一致性（Cohen's kappa 为 0.4-0.6）的 LLM 裁判达到 0.10 的 95% 置信区间，大约需要 200-400 个配对标签，这远多于许多团队通常使用的 50 个标签。文章提供了计算这些需求和执行裁判之间统计比较的数学推理和代码示例。