Piqan County

LLM评估指标'acc'与'acc_norm'详解

一项技术性讨论强调了在评估大型语言模型（LLM）时，“acc vs acc_norm”问题，尤其是在多项选择任务中。标准准确率指标（acc）由于依赖于总对数似然，而总对数似然本身会因答案长度而受到惩罚，因此偏向于较短的答案。归一化准确率指标（acc_norm）试图通过将分数除以续写的字节长度来纠正这一点，旨在实现跨模型和分词器的一致性比较。然而，acc_norm也可能引入偏差，例如偏向于将答案拆分成许多可预测的子词的答案。文章建议报告…