实体
Piqan County
Piqan County
PulseAugur coverage of Piqan County — every cluster mentioning Piqan County across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LLM基准测试平均方法存在缺陷，偏袒测试次数少的模型
最近对LLM基准测试排行榜的分析揭示了平均方法论的缺陷，尤其是在模型在不同数量的基准测试上进行测试时。最初的方法是将归一化分数跨类别平均，无意中偏袒了在较少、较容易的基准测试中取得结果的模型，而不是那些在更具挑战性的评估中进行了广泛测试的模型。这导致了数据有限的模型优于结果全面的模型，凸显了需要更稳健的方法来准确评估LLM的能力。
-
LLM评估指标'acc'与'acc_norm'详解
一项技术性讨论强调了在评估大型语言模型（LLM）时，“acc vs acc_norm”问题，尤其是在多项选择任务中。标准准确率指标（acc）由于依赖于总对数似然，而总对数似然本身会因答案长度而受到惩罚，因此偏向于较短的答案。归一化准确率指标（acc_norm）试图通过将分数除以续写的字节长度来纠正这一点，旨在实现跨模型和分词器的一致性比较。然而，acc_norm也可能引入偏差，例如偏向于将答案拆分成许多可预测的子词的答案。文章建议报告…