REPOCOD
PulseAugur coverage of REPOCOD — every cluster mentioning REPOCOD across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的 REPOCOD 基准显示 LLM 在实际编码任务中遇到困难
一个名为 REPOCOD 的新基准已被开发出来，用于评估大型语言模型（LLM）在实际编码任务中的能力。现有的 CoderEval 和 HumanEval 等基准因侧重于短代码补全或有限规模的项目而受到批评，未能代表实际软件开发的复杂性。REPOCOD 包含来自 11 个流行项目的 980 个完整函数生成任务，其中一半以上需要仓库级别的上下文，并包含开发人员编写的测试用例。对 REPOCOD 上十个 LLM 的评估显示，没有一个 LLM…
-
AI 代理 ProjAgent 改进代码检索；TokenWall 降低代理攻击率
ProjAgent 通过实施一种新颖的程序化代码检索方法，在 REPOCOD 基准测试中取得了 41.14% 的 Pass@1 分数。这种新信号有助于代理识别功能相似但使用不同命名约定的代码。另外，TokenWall 开发了一种语义防火墙，将 AI 代理攻击率降至 12.5%，处理开销不到 0.7 秒，尽管该方法尚未经过同行评审。
-
新研究解决 AI 代码生成评估与测试问题
两篇新研究论文探讨了 AI 生成代码评估方面的进展。第一篇 TENET 引入了一个使用测试驱动开发的仓库级代码生成框架，在 RepoCod 和 RepoEval 等基准测试中取得了 Claude Sonnet 4 的高 Pass@1 分数。第二篇 ACES 提出了一种评估代码生成评估测试可靠性的新方法，侧重于测试的一致性以及区分正确和错误代码的能力。
-
ProjAgent系统通过程序相似性检索增强代码生成
研究人员开发了ProjAgent，一种用于仓库级代码生成的新系统，它引入程序相似性作为关键检索信号。与依赖词汇或结构相似性的现有方法不同，ProjAgent能够识别具有相似逻辑的函数，即使它们在不同域中运行。该系统将目标函数分解为推理步骤，并使用代理工作流查找程序上相似的代码，并将其与语义检索集成以获得更丰富的上下文。ProjAgent还包含一个静态分析反馈循环，用于迭代代码修复，并在REPOCOD基准测试上实现了41.14%的Pas…