研究人员开发了一个名为BadScientist的框架,用于测试AI驱动的同行评审系统在面对伪造研究论文时的脆弱性。该系统采用展示操纵策略,而无需进行真实实验,结果发现这些伪造论文在由基于LLM的系统评审时获得了很高的接受率。尽管审稿人指出了诚信问题,但他们通常仍会给出接受分数,这表明存在严重的“担忧-接受”冲突。缓解策略仅显示出边际改进,凸显了当前AI评审流程的基本局限性以及对强大安全措施的需求。 AI
影响 凸显了AI驱动的同行评审系统中的关键漏洞,强调了在科学出版中进行人工监督和采用高级防御机制的必要性。
排序理由 学术论文,详细介绍了一个新框架及其发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →