研究人员开发了CEO-Bench，这是一个旨在评估大型语言模型（LLM）在复杂组织环境中战略决策能力的新基准。与以往侧重于孤立任务的基准不同，CEO-Bench模拟了一个多轮场景，LLM代理必须整合来自不同C级高管角色（CFO、CTO、COO、CMO）的冲突建议来重新分配资源。对前沿模型的实验表明，尽管LLM能够从结构上验证计划，但它们在战略校准方面存在困难，表现出过度依赖单一顾问或历史遗忘等故障模式。 AI
影响 CEO-Bench突显了LLM在复杂战略决策方面的当前局限性，为未来AI辅助高管系统的开发提供了信息。
排序理由 该集群包含一篇详细介绍LLM能力评估新基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →