评估语言模型的常见假设是每个测试示例都是独立的，但在实践中这通常会被违反。当示例是聚类的（例如，来自同一文档的多个问题或同一对话的多个轮次）时，它们携带重叠的信息，导致置信区间比应有的更窄。这种统计偏差可能导致研究人员错误地认为他们取得了显著的改进，而实际上并没有。解决方案是通过对整个聚类进行重采样，而不是对单个示例进行重采样，以准确反映有效的样本量并纠正置信区间宽度。 AI
影响 突出了常见LLM评估实践中的一个关键缺陷，可能使过去的基准测试结果无效，并需要重新评估模型改进。
排序理由 该项目讨论了评估语言模型的统计方法，包括用于纠正的公式和代码示例。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
