一项新的研究论文 Repo2Skill-Evo 探讨了在不断发展的代码库上运行的大型语言模型(LLM)代理维护最新技能所面临的挑战。研究强调,外部化程序性知识的技能在软件发布后可能会过时,且没有任何明确信号,导致无声的衰退。对 57 个代码库和 105 个发布转换进行的实验表明,虽然每次转换都会使某些技能失效,但即使是先进的代理也难以可靠地维护这些知识,平均 F1 分数仅为 29.9%-69.7%。 AI
影响 凸显了 LLM 代理在动态软件环境中可靠性和长期可用性方面的一个关键挑战。
排序理由 研究论文,详细介绍了 LLM 代理技能维护的新方法和评估。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →