研究人员开发了 AeroCopilotBench，这是一个新的基准测试和名为 ACOE 的交互式虚拟驾驶舱环境，旨在评估大型语言模型 (LLM) 代理在航空场景中的能力。该基准测试包含两个级别：一个级别通过多项选择题评估航空知识，另一个级别在模拟的紧急和异常飞行任务中测试程序执行和安全合规性。对 12 个模型的初步测试显示，虽然一些代理在基于知识的任务上表现良好，但这并不总是能转化为有效的程序执行，在完整性、状态反馈利用和长期管理方面存在常见故障。 AI
影响 该基准测试可以加速 LLM 代理在航空等复杂、安全关键型应用中的开发和安全测试。
排序理由 该集群在一篇研究论文中描述了一个特定领域中 LLM 代理的新基准测试和评估环境。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
