Prompt Coverage Adequacy

新指标衡量提示对大语言模型生成代码测试的充分性

研究人员推出了一种名为“提示覆盖充分性”（Prompt Coverage Adequacy）的新指标，用于测试大语言模型（LLMs）生成的代码。该标准衡量测试套件在多大程度上满足提示要求，类似于传统的代码覆盖率，但操作层面是提示。通过利用大语言模型的注意力机制，“提示覆盖充分性”已显示出比传统代码覆盖方法检测出多 30% 以上的故障的潜力，为大语言模型驱动的软件开发提供了一种更合适的方法。