研究人员推出了 MCR-Bench，这是一个新颖的基准测试，旨在评估大型语言模型 (LLM) 在现实、多轮代码审查场景中的能力。与以前的静态方法不同，MCR-Bench 捕捉了代码审查的动态、迭代性质，并结合了五种编程语言的缺陷元数据和跨轮状态注释。实验表明，当前主流 LLM 在缺陷检测和状态跟踪方面存在困难，尤其是在交互轮数增加的情况下，并且在不同缺陷类型和严重性级别上表现各异。 AI
影响 该基准测试有望推动 LLM 在复杂、交互式软件开发任务中的能力改进。
排序理由 该项目描述了一个用于评估 LLM 在特定研究领域（代码审查）的新基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
- code review
- Defect detection in lyophilized drug products with convolutional neural networks
- large language models
- machine language
- MCR-Bench
- software development
- type I and type II errors
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
