Dependency Invocation Rate

新的RepoExec基准测试揭示LLM在代码依赖准确性方面存在困难

来自FPT Software AI Center的一篇论文介绍了一个名为RepoExec的新基准测试，该测试通过考虑正确性和依赖调用率来评估大型语言模型在代码生成方面的能力。基准测试显示，当前模型在准确利用提供的依赖项方面存在困难，许多模型未能调用正确的依赖项或重写现有函数而不是解决问题。研究还发现，仅提供函数签名和文档字符串而不提供函数体，可能导致模型将任务误解为少样本示例，从而生成空代码或错误代码。