实体
Software repositories
Software repositories
PulseAugur coverage of Software repositories — every cluster mentioning Software repositories across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新基准揭示LLM在代码生成和翻译方面的局限性
引入了两个新的基准测试E2E-SWE和ORCA，以评估大型语言模型（LLM）在复杂编码任务中的能力。E2E-SWE侧重于LLM从头开始生成整个软件存储库的能力，使用11种编程语言对13个前沿模型进行了测试，结果显示性能差异显著。另一方面，ORCA评估LLM在数据科学库之间翻译代码的熟练程度，结果表明即使是像Claude Opus-4.6这样的先进模型也难以胜任这项任务，这促使开发了一种意图增强的翻译方法。
-
研究发现：大型语言模型（LLM）代理技能会过时且难以维护
一项新的研究论文 Repo2Skill-Evo 探讨了在不断发展的代码库上运行的大型语言模型（LLM）代理维护最新技能所面临的挑战。研究强调，外部化程序性知识的技能在软件发布后可能会过时，且没有任何明确信号，导致无声的衰退。对 57 个代码库和 105 个发布转换进行的实验表明，虽然每次转换都会使某些技能失效，但即使是先进的代理也难以可靠地维护这些知识，平均 F1 分数仅为 29.9%-69.7%。