ORAgentBench

新基准显示LLM代理难以处理运筹学任务

引入了一个名为ORAgentBench的新基准，用于评估大型语言模型（LLM）代理在执行复杂运筹学（OR）任务方面的能力。该基准包含107个人工审查的任务，涵盖各种操作场景，每个任务都有特定的数据、配置和提交要求。使用十四种前沿代理模型配置进行的初步实验表明，目前的LLM代理在实际运筹学工作中尚不可靠，表现最好的代理仅在35.51%的任务上取得成功，并且在可行性和解决方案质量方面存在困难。