PaperCoder

新基准揭示大语言模型代理难以忠实复现科学论文

研究人员开发了SA-Bench，一个旨在评估大语言模型代理复现科学论文准确性的新基准。该基准识别出“语义漂移”，即生成的代码在没有明确错误的情况下偏离论文的规范。SA-Bench包含来自主要AI会议的30篇论文中的1,491项可验证声明，评估数值、方法、协议和顺序准确性。即使是像Claude与PaperCoder这样的高级配置，平均得分也仅为0.301（满分1.0），表明当前大语言模型代理在实现忠实科学复现方面面临重大挑战。