SciSlopBench

新基准识别AI生成论文中的“科学糟粕”

研究人员开发了一个名为SciSlopBench的新基准，用于识别AI生成的学术论文中的“科学糟粕”。这种糟粕指的是听起来合理但底层科学推理存在缺陷的内容。该基准包含390篇AI生成的论文及其对应的人类撰写版本，在区分AI生成作品方面达到了85.9%的准确率，优于现有工具。研究还引入了SciSlopHarness框架，指导大型语言模型（LLMs）根据证据基础修改论文，在无需人类参考目标的情况下显著减少了残留的糟粕。