linguistic feature-based

新数据集和模型提升德语文本生成质量评估

研究人员开发了TextQ-German，这是一个用于评估自然语言生成系统（包括大型语言模型）所生成德语文本质量的新数据集和模型套件。该数据集是通过众包方式从德语使用者那里收集的，旨在捕捉体验质量（QoE）视角，而这通常是传统自动指标所忽略的。结合了基于Transformer和语言特征的混合模型，在预测人类质量评分方面表现优于仅基于Transformer的基线模型，为NLG评估提供了一种更细致的方法。