新论文发现：大型语言模型在长代码上下文中存在语义回忆障碍

一篇新发表在arXiv上的论文探讨了大型语言模型（LLMs）在理解长代码上下文方面的局限性。研究人员发现，尽管LLMs在词汇回忆（逐字代码检索）方面表现出色，但当代码位于长输入的中间时，其语义回忆（理解操作语义）能力会显著下降。该研究引入了一个名为“语义回忆敏感性”的指标，并提出了一个名为SemTrace的新任务来更好地评估此能力。研究结果表明，当前的基准测试可能高估了LLMs的代码理解能力。 AI

影响 强调了LLM代码理解能力可能被高估的潜在问题，表明需要更稳健的评估方法。

排序理由 学术论文，详细介绍了LLM代码理解的新评估方法和研究结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Adam Štorek
• alphaXiv
• arXiv
• CatalyzeX
• CruxEval
• DagsHub
• Gotit.pub
• Hugging Face
• ScienceCast
• SemTrace

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →