DiagFlowBench

新基准测试 LLM 处理非流程诊断查询的能力

研究人员推出了 DiagFlowBench，这是一个新的数据集，旨在评估语言模型在诊断对话中处理非流程或超出范围输入的性能。该数据集包含 1,676 个多轮对话，源自 50 个工业诊断流程图，揭示了一个漏洞：模型可能会选择看似合理但错误的步骤，而不是选择不执行任何操作。对十个商业和开源模型的评估显示，它们识别和恰当回应超出范围查询的能力存在显著差异，这表明在实际维护操作中对模型进行接地存在挑战。