BadScientist

AI研究代理用伪造论文愚弄LLM审稿人

研究人员开发了一个名为BadScientist的框架，用于测试AI驱动的同行评审系统在面对伪造研究论文时的脆弱性。该系统采用展示操纵策略，而无需进行真实实验，结果发现这些伪造论文在由基于LLM的系统评审时获得了很高的接受率。尽管审稿人指出了诚信问题，但他们通常仍会给出接受分数，这表明存在严重的“担忧-接受”冲突。缓解策略仅显示出边际改进，凸显了当前AI评审流程的基本局限性以及对强大安全措施的需求。