一项新的实证研究调查了大型语言模型(LLMs)如何处理用于自动程序修复的错误报告。研究人员分析了来自SWE-bench Verified和Multi-SWE-bench的319个Python和Java错误的LLMs注意力模式。研究发现,成功的修复通常涉及跨越错误报告的各个组成部分(如描述和堆栈跟踪)的扩散注意力,而失败的修复则倾向于过度集中于元数据(如版本信息)上。这项研究首次证明了注意力分配不当是基于LLM的自动程序修复失败的一个重要因素,为开发更可靠的系统提供了见解。 AI
影响 为改进LLM在代码相关任务(如错误修复)中的可靠性提供了见解。
排序理由 学术论文,详细介绍了对LLM在特定任务上行为的实证研究。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →