Sebastian Steindl

研究发现，任务分解并不能改进基于大语言模型的自然语言生成评估

一项新研究调查了大语言模型作为评委（LLMaJ）框架在自然语言生成（NLG）评估中的有效性。研究人员发现，与不进行分解的基线相比，没有证据表明将评估任务分解为子任务可以提高LLMaJ的性能。研究表明，先前观察到的分解带来的收益是由于使用了人类标签进行训练，而不是分解本身。此外，当人类标签可用时，不进行任务分解的LLMaJ可以达到与人类标注者相当的性能。