PulseAugur
中
实时 05:55:52
English(EN) BioSecBench-Surveillance: A Verifiable Benchmark for AI Agents in Pathogen Genomic Surveillance

新基准显示AI代理在病原体基因组监测方面存在困难

作者 PulseAugur 编辑部 · [1 个来源] ·

一个新的基准BioSecBench-Surveillance已被开发出来，用于评估AI代理在病原体基因组监测中的可靠性。该基准包含100项评估，旨在测试AI代理是否能从原始测序数据和上下文信息中正确推断分析流程。对包括Opus 4.8、GPT-5.5、Opus 4.7和Sonnet 4.6在内的多个AI模型的初步测试表明，即使是表现最好的配置，准确率也仅在50%左右，这凸显了它们在就参考、阈值和过滤器做出关键选择方面的能力挑战。 AI

影响 强调了在疫情检测等关键科学应用中提高AI可靠性的必要性。

排序理由 该集群描述了一篇介绍AI代理基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新基准显示AI代理在病原体基因组监测方面存在困难

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Harmon Bhasin, Kevin Flyangolts, Dianzhuo Wang, Evan Seeyave, Arjun Banerjee, Amanda Darling, Joshua Stallings, David Stern, Shawn Higdon, Claire Duvallet, Bryan Tegomoh, Kenny Workman ·

    BioSecBench-Surveillance: AI代理在病原体基因组监测中的可验证基准

    arXiv:2607.19262v1 Announce Type: new Abstract: As pathogen genomic surveillance scales, the bottleneck is shifting from data generation to analysis. We present BioSecBench-Surveillance, a verifiable benchmark of 100 evaluations testing whether AI agents can infer the right analy…

相关实体

相关话题