PulseAugur
中
实时 15:30:35
English(EN) Your eval's confidence interval assumes independent examples. Yours are clustered.

LLM评估置信区间因数据聚类而过于狭窄

作者 PulseAugur 编辑部 · [1 个来源] ·

评估语言模型的常见假设是每个测试示例都是独立的，但在实践中这通常会被违反。当示例是聚类的（例如，来自同一文档的多个问题或同一对话的多个轮次）时，它们携带重叠的信息，导致置信区间比应有的更窄。这种统计偏差可能导致研究人员错误地认为他们取得了显著的改进，而实际上并没有。解决方案是通过对整个聚类进行重采样，而不是对单个示例进行重采样，以准确反映有效的样本量并纠正置信区间宽度。 AI

影响 突出了常见LLM评估实践中的一个关键缺陷，可能使过去的基准测试结果无效，并需要重新评估模型改进。

排序理由 该项目讨论了评估语言模型的统计方法，包括用于纠正的公式和代码示例。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

LLM评估置信区间因数据聚类而过于狭窄

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该项目讨论了评估语言模型的统计方法，包括用于纠正的公式和代码示例。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
51 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Maya Andersson ·

    您的评估置信区间假设示例独立。您的示例是聚类的。

    <p>Every binomial confidence interval you have ever computed on an eval pass rate, Wald, Wilson, Clopper-Pearson, all of them, rests on one assumption: each example is an independent draw. Most eval sets violate it. You have 40 questions generated from the same 8 documents, or 20…

相关话题