一个名为 DisasterBench 的新基准已被开发出来，用于评估大型语言模型 (LLM) 在协调各种人工智能工具以应对灾难响应时的规划能力。该基准引入了一种称为“首次失败点”(First-Point-of-Failure, FPoF) 的方法，以查明生成工作流中的最早错误。使用 DisasterBench 的评估表明，LLM 的规划有效性与模型容量有关，工具不匹配和参数绑定错误是常见的初始失败。研究还强调，过于冗长的推理可能会与结构化输出要求相冲突，从而阻碍计划的生成。 AI
影响 该基准测试有望推动 LLM 在灾难响应等关键应用中的规划和工具协调能力的改进。
排序理由 该集群包含一篇介绍用于评估 LLM 能力的新基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
