Auto-DSM

新框架评估 LLM 生成设计结构矩阵的能力

本文介绍了一个黑盒评估框架，旨在评估大型语言模型（LLM）从技术文档生成设计结构矩阵（DSM）的能力。该框架采用可复现的方法，将 LLM 生成的 DSM 与手动验证的真实矩阵进行比较。它包含结构、分类和稳定性指标，最终得出一个综合质量分数（Q）。实验表明，虽然 LLM 在结构良好的输入上可以生成具有良好可复现性的合理 DSM，但它们在处理歧义、不一致的定义和提示变化方面存在困难，这凸显了 LLM 驱动的基于模型的系统工程自动化目前存在的局限性。