Adam Storek

新论文发现：大型语言模型在长代码上下文中存在语义回忆障碍

一篇新发表在arXiv上的论文探讨了大型语言模型（LLMs）在理解长代码上下文方面的局限性。研究人员发现，尽管LLMs在词汇回忆（逐字代码检索）方面表现出色，但当代码位于长输入的中间时，其语义回忆（理解操作语义）能力会显著下降。该研究引入了一个名为“语义回忆敏感性”的指标，并提出了一个名为SemTrace的新任务来更好地评估此能力。研究结果表明，当前的基准测试可能高估了LLMs的代码理解能力。