SCI-AGENT-EXAM

新的SCI-AGENT-EXAM基准揭示了LLM代理在科学研究中的性能差距

一个名为SCI-AGENT-EXAM的新基准已被开发出来，用于系统地评估大型语言模型（LLM）代理在科学研究工作流中的能力。该基准包含11个科学领域的120个任务和7种研究任务类型，需要可执行代码和文本输出。使用10个前沿LLM代理进行的实验表明，GPT-6 Astra取得了最高分80.9%，但只有26%的运行达到了0.95的成功阈值，这凸显了执行效率方面显著的性能差距和差异。