BEF4LLM

新框架评估LLM的业务流程建模能力

一个名为BEF4LLM的新框架已被开发出来，用于系统地评估大型语言模型（LLM）生成的业务流程模型和符号（BPMN）模型的质量。该框架从语法、语用、语义和有效性四个维度评估模型。在一项全面的分析中，LLM在语法和语用质量方面表现强劲，而人类专家在语义方面保持优势，尽管差异并不显著。研究结果突显了LLM在BPMN建模方面的潜力，同时也指出了在有效性和语义质量方面需要改进的领域，以增强实际应用。