研究人员开发了TextQ-German,这是一个用于评估自然语言生成系统(包括大型语言模型)所生成德语文本质量的新数据集和模型套件。该数据集是通过众包方式从德语使用者那里收集的,旨在捕捉体验质量(QoE)视角,而这通常是传统自动指标所忽略的。结合了基于Transformer和语言特征的混合模型,在预测人类质量评分方面表现优于仅基于Transformer的基线模型,为NLG评估提供了一种更细致的方法。 AI
影响 提升了德语文本生成评估的水平,可能带来更符合人类期望的LLM输出。
排序理由 该集群描述了一篇介绍用于自然语言生成的数据集和评估模型的新学术论文。
在 Hugging Face Daily Papers 阅读 →
- German
- Hugging Face
- large-language models
- natural language generation
- Quality of Experience
- TextQ-German
- linguistic feature-based
- Transformer based Arabic temporal common sense understanding
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →