本文介绍了一个黑盒评估框架，旨在评估大型语言模型（LLM）从技术文档生成设计结构矩阵（DSM）的能力。该框架采用可复现的方法，将 LLM 生成的 DSM 与手动验证的真实矩阵进行比较。它包含结构、分类和稳定性指标，最终得出一个综合质量分数（Q）。实验表明，虽然 LLM 在结构良好的输入上可以生成具有良好可复现性的合理 DSM，但它们在处理歧义、不一致的定义和提示变化方面存在困难，这凸显了 LLM 驱动的基于模型的系统工程自动化目前存在的局限性。 AI
影响 该框架通过提供一种标准化的方法来审计 LLM 在生成复杂技术矩阵方面的性能，从而可能加速 LLM 在基于模型的系统工程中的集成。
排序理由 该集群包含一篇学术论文，详细介绍了 LLM 功能的新评估框架。
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
arXiv:2607.05985v1 Announce Type: new Abstract: This paper presents a black-box evaluation framework to systematically assess the ability of Large Language Models (LLMs) to generate Design Structure Matrices (DSMs) from structured technical documentation. Motivated by the closed-…
This paper presents a black-box evaluation framework to systematically assess the ability of Large Language Models (LLMs) to generate Design Structure Matrices (DSMs) from structured technical documentation. Motivated by the closed-source nature of current Auto-DSM pipelines, the…
This paper presents a black-box evaluation framework to systematically assess the ability of Large Language Models (LLMs) to generate Design Structure Matrices (DSMs) from structured technical documentation. Motivated by the closed-source nature of current Auto-DSM pipelines, the…