iTrust codebase

LLM对话代理在NFR评估中准确性低，影响用户满意度

一篇新的研究论文探讨了基于LLM的对话助手在软件开发中评估非功能性需求（NFR）的有效性，特别是在HIPAA合规的背景下。该研究涉及49名程序员使用GitHub Copilot评估了148个源自HIPAA的NFR与iTrust代码库的匹配情况。研究结果表明，尽管开发人员通常同意LLM的评估，但与专家基准真相相比，实际准确性较低。此外，用户满意度受到更长的系统响应和更多提供信息的轮次的影响，而主动互动则倾向于提高满意度。