一项技术性讨论强调了在评估大型语言模型（LLM）时，“acc vs acc_norm”问题，尤其是在多项选择任务中。标准准确率指标（acc）由于依赖于总对数似然，而总对数似然本身会因答案长度而受到惩罚，因此偏向于较短的答案。归一化准确率指标（acc_norm）试图通过将分数除以续写的字节长度来纠正这一点，旨在实现跨模型和分词器的一致性比较。然而，acc_norm也可能引入偏差，例如偏向于将答案拆分成许多可预测的子词的答案。文章建议报告这两个指标，并在训练前为每个任务系列选择一个一致的指标，以避免误导性评估。 AI
影响 阐明了LLM评估指标中潜在的偏差，指导研究人员进行更准确的模型比较。
排序理由 讨论LLM评估指标的技术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- HellaSwag
- Massive Multitask Language Understanding
- Piqan County
- reinforcement learning from human feedback
- supervised fine-tuning
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
