NewsBench

新基准NewsBench评估AI新闻报道质量

研究人员推出NewsBench，这是一个旨在评估AI生成新闻内容认知质量的新评估基准。与以往关注意识形态一致性或非专家注释的方法不同，NewsBench借鉴了新闻、政策和情报分析领域的编辑标准。该基准通过源质量、事实性和中立性等维度来操作化质量评估，采用一个两阶段流程，由领域专家为自动化AI裁判校准指南。NewsBench包含约3000个评估提示，其中一部分每月更新，以及约2500个专家注释项用于验证。