已开发出新的基准ProteinGeoBench,用于评估前沿AI模型在结构生物学方面的能力。该基准包含131项任务,评估从蛋白质结构中进行事实查找、序列检查和几何计算的能力。虽然Claude Opus-5和Gemini 3.1 Pro等领先模型在信息检索方面表现出色,但它们在几何推理和计算方面存在困难,表明它们对蛋白质内复杂空间关系的理解存在差距。研究还强调了代理工具和网络访问对模型性能的显著影响,这表明标准化测试环境对于准确评估至关重要。 AI
影响 突出了当前前沿AI模型在复杂科学推理(尤其是在几何方面)的局限性,指出了未来发展的方向。
排序理由 该集群报告了一个用于评估AI模型在结构生物学方面的新学术基准。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- Claude Opus-5
- DagsHub
- Gemini 3.1 Pro
- Gotit.pub
- Hugging Face
- Matthew Turk
- ProteinGeoBench
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →