研究人员推出了MermaidSeqBench，一个旨在评估大型语言模型根据自然语言提示生成Mermaid序列图能力的新基准。该基准包含132个经过人类验证和LLM增强的样本，评估语法正确性和实际可用性等方面。使用LLM裁判进行的初步评估显示，当前最先进的模型之间存在显著的能力差距，突显了为软件工程应用改进图表生成标准的必要性。 AI
影响 为LLM生成的图表提供了标准化的评估，这对于在软件工程中可靠部署至关重要。
排序理由 引入了一个用于评估LLM生成结构化图表能力的新评估基准。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2511.14967v2 Announce Type: replace-cross Abstract: Large language models (LLMs) have shown great promise in generating structured diagrams from natural language descriptions, particularly Mermaid sequence diagrams for software engineering. However, the lack of existing ben…