引入了一个名为ORAgentBench的新基准，用于评估大型语言模型（LLM）代理在执行复杂运筹学（OR）任务方面的能力。该基准包含107个人工审查的任务，涵盖各种操作场景，每个任务都有特定的数据、配置和提交要求。使用十四种前沿代理模型配置进行的初步实验表明，目前的LLM代理在实际运筹学工作中尚不可靠，表现最好的代理仅在35.51%的任务上取得成功，并且在可行性和解决方案质量方面存在困难。 AI
影响 凸显了LLM代理在运筹学等复杂现实世界问题解决领域的当前局限性。
排序理由 在arXiv上发表了一篇关于新学术基准的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
