Repo2Skill-Evo

研究发现：大型语言模型（LLM）代理技能会过时且难以维护

一项新的研究论文 Repo2Skill-Evo 探讨了在不断发展的代码库上运行的大型语言模型（LLM）代理维护最新技能所面临的挑战。研究强调，外部化程序性知识的技能在软件发布后可能会过时，且没有任何明确信号，导致无声的衰退。对 57 个代码库和 105 个发布转换进行的实验表明，虽然每次转换都会使某些技能失效，但即使是先进的代理也难以可靠地维护这些知识，平均 F1 分数仅为 29.9%-69.7%。