研究人员推出了一种新颖的度量方法 SOL,旨在通过比较文本生成模型隐藏状态的分布来评估它们。该方法利用双切片 Wasserstein 距离来量化生成分布与数据分布之间的差距,为非自回归模型提供了一种替代困惑度(perplexity)的评估方式。在 OpenWebText 训练的模型上进行的实验表明,SOL 能够检测分布性失败并提供稳定的估计。 AI
影响 为非自回归语言模型提供了一种新的评估度量,有望改进模型开发和比较。
排序理由 该集群包含一篇详细介绍语言模型新评估度量的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Double Sliced Wasserstein Metrics
- Gotit.pub
- Gregor Kornhardt
- Hugging Face
- OpenWebText
- ScienceCast
- SOL
- transformer
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →