CEO-Bench

新基准测试LLM的CEO战略决策能力

研究人员开发了CEO-Bench，这是一个旨在评估大型语言模型（LLM）在复杂组织环境中战略决策能力的新基准。与以往侧重于孤立任务的基准不同，CEO-Bench模拟了一个多轮场景，LLM代理必须整合来自不同C级高管角色（CFO、CTO、COO、CMO）的冲突建议来重新分配资源。对前沿模型的实验表明，尽管LLM能够从结构上验证计划，但它们在战略校准方面存在困难，表现出过度依赖单一顾问或历史遗忘等故障模式。