Ningyu Zhang

新基准测试评估LLM生成可视化工作流的能力

研究人员推出了Chat2Workflow，这是一个旨在评估大型语言模型（LLM）根据自然语言提示生成可执行可视化工作流的能力的新基准测试。该基准测试源自真实世界的业务工作流，旨在自动化当前手动构建工作流的过程，该过程通常成本高昂且容易出错。虽然当前的LLM可以理解高级意图，但它们在生成准确且可部署的工作流方面存在困难，即使是先进的代理基线也只能在解决率方面提高6.05%，这凸显了在工业级自动化方面进一步发展的必要性。