研究人员开发了一个名为SciSlopBench的新基准,用于识别AI生成的学术论文中的“科学糟粕”。这种糟粕指的是听起来合理但底层科学推理存在缺陷的内容。该基准包含390篇AI生成的论文及其对应的人类撰写版本,在区分AI生成作品方面达到了85.9%的准确率,优于现有工具。研究还引入了SciSlopHarness框架,指导大型语言模型(LLMs)根据证据基础修改论文,在无需人类参考目标的情况下显著减少了残留的糟粕。 AI
影响 这项研究可能有助于更可靠地检测有缺陷的AI生成科学内容,从而提高学术诚信。
排序理由 该集群描述了一个用于评估AI生成科学论文的新学术基准和框架。[lever_c_demoted from research: ic=1 ai=1.0]
- AI-generated papers
- Binoculars
- International Conference on Learning Representations
- LLM
- SciSlopBench
- SciSlopHarness
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →