BioSecBench-Surveillance

新基准显示AI代理在病原体基因组监测方面存在困难

一个新的基准BioSecBench-Surveillance已被开发出来，用于评估AI代理在病原体基因组监测中的可靠性。该基准包含100项评估，旨在测试AI代理是否能从原始测序数据和上下文信息中正确推断分析流程。对包括Opus 4.8、GPT-5.5、Opus 4.7和Sonnet 4.6在内的多个AI模型的初步测试表明，即使是表现最好的配置，准确率也仅在50%左右，这凸显了它们在就参考、阈值和过滤器做出关键选择方面的能力挑战。