Skepthical

新基准测试审计AI同行评审员在科学论文中的错误

研究人员开发了一个新的基准测试，用于评估用于同行评审科学论文的AI系统。该基准测试将特定类型的错误注入到真实的研究文章中，以衡量各种AI评审员的检测率和误报率。研究发现，AI模型的选择显著影响错误检测，一些前沿LLM在性能上表现出巨大差异。工具和外部资源，如引文检索和计算代数，可以增强AI评审员的能力，特别是在检测数学和数值错误方面，尽管其有效性因科学领域而异。