Pierre-Henri Murcia

新的 CoffeeBench 基准测试 LLM 智能体进行电器故障诊断

一个名为 CoffeeBench 的新基准已被开发出来，用于评估大型语言模型 (LLM) 智能体在工业 4.0 背景下诊断模拟电器故障的能力。虽然 LLM 仅凭传感器数据难以持续识别故障，但表现最佳的模型可以迭代地改进其诊断假设。研究强调，初始诊断不确定性和 LLM 的自我评估推理健全性是成功的有力预测指标，并提出了显式状态跟踪和审议循环等实际改进措施来提高性能。