PulseAugur
中
实时 22:27:47
English(EN) Multiple Choice Normalization in LM Evaluation

EleutherAI 提出语言模型评估分数的新归一化方法

作者 PulseAugur 编辑部 · [1 个来源] ·

EleutherAI 的博客文章介绍并分析了语言模型在多项选择任务上进行评估的四种不同方法。这些方法包括未归一化、按 token 长度归一化、按字节长度归一化以及无条件似然归一化分数，旨在解决比较不同长度续写文本的挑战。文章重点讨论了每种方法的优缺点，特别是与 token 化依赖性和计算需求相关的方面，其中按字节长度归一化被认为是一种不依赖 token 化的解决方案。 AI

排序理由 该条目是一篇关于语言模型评估方法研究的博客文章。

在 EleutherAI Blog 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

EleutherAI 提出语言模型评估分数的新归一化方法

报道来源 [1]

  1. EleutherAI Blog TIER_1 English(EN) ·

    Multiple Choice Normalization in LM Evaluation

    There are multiple ways of evaluating multiple choice tasks on autoregressive LMs like GPT-3/Neo/J. This post lays out the current prevalent normalization methods.

相关话题