研究人员开发了一个名为 Frame In, Frame Out (FIFO) 的新基准,用于衡量大型语言模型生成的新闻摘要中的框架偏见。该基准包含超过 15,000 个陪审团标注的示例,发现大型语言模型生成的新闻摘要的框架率通常高于人类撰写的新闻摘要。这种偏见在与科学和公共卫生相关的新闻摘要中尤为明显,突显了框架作为摘要质量的一个关键但常被忽视的方面。 AI
影响 强调了大型语言模型生成文本的新评估指标,可能影响未来模型在新闻摘要中的开发和部署。
排序理由 该集群描述了一篇介绍用于评估大型语言模型生成内容的新颖基准的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →