Valeria Pastorino

新基准揭示大型语言模型在新闻摘要中表现出显著的框架偏见

研究人员开发了一个名为 Frame In, Frame Out (FIFO) 的新基准，用于衡量大型语言模型生成的新闻摘要中的框架偏见。该基准包含超过 15,000 个陪审团标注的示例，发现大型语言模型生成的新闻摘要的框架率通常高于人类撰写的新闻摘要。这种偏见在与科学和公共卫生相关的新闻摘要中尤为明显，突显了框架作为摘要质量的一个关键但常被忽视的方面。