PulseAugur
实时 15:09:24
English(EN) BadScientist: Can a Research Agent Write Convincing but Unsound Papers that Fool LLM Reviewers?

AI研究代理用伪造论文愚弄LLM审稿人

研究人员开发了一个名为BadScientist的框架,用于测试AI驱动的同行评审系统在面对伪造研究论文时的脆弱性。该系统采用展示操纵策略,而无需进行真实实验,结果发现这些伪造论文在由基于LLM的系统评审时获得了很高的接受率。尽管审稿人指出了诚信问题,但他们通常仍会给出接受分数,这表明存在严重的“担忧-接受”冲突。缓解策略仅显示出边际改进,凸显了当前AI评审流程的基本局限性以及对强大安全措施的需求。 AI

影响 凸显了AI驱动的同行评审系统中的关键漏洞,强调了在科学出版中进行人工监督和采用高级防御机制的必要性。

排序理由 学术论文,详细介绍了一个新框架及其发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Fengqing Jiang, Yichen Feng, Yuetai Li, Luyao Niu, Basel Alomair, Radha Poovendran ·

    BadScientist: Can a Research Agent Write Convincing but Unsound Papers that Fool LLM Reviewers?

    arXiv:2510.18003v2 Announce Type: replace-cross Abstract: The convergence of LLM-powered research assistants and AI-based peer review systems creates a critical vulnerability: fully automated publication loops where AI-generated research is evaluated by AI reviewers without human…