一篇新发表在 arXiv 上的研究评估了大型语言模型（LLM）在编写 TLA+ 规范时的性能和记忆倾向。该研究引入了一种使用一致标识符重命名（CIR）的方法来测试记忆能力，发现重命名标识符会显著降低 Claude Opus 4.8 和 GPT-5 等模型在 TLA+-Bench 任务上的正确率得分。然而，当评分基于保留的行为而非精确的名称时，性能下降幅度大大减小，这表明当前的基准测试可能将记忆能力与依赖名称的评分以及学习新名称的成本混为一谈。 AI
影响 强调了 LLM 评估基准中潜在的缺陷，表明需要更稳健的方法来区分真正的理解和记忆能力。
排序理由 学术论文，详细介绍了一种新的 LLM 评估方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
