实体
BigCodeBench
BigCodeBench
PulseAugur coverage of BigCodeBench — every cluster mentioning BigCodeBench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新指标和基准推动AI代码质量评估
研究人员开发了FASE，一个用于评估多智能体AI系统中代码质量的新指标。FASE通过分析代码不相似性来近似评估功能正确性，与现有方法相比速度显著提升。另外，引入了一个名为CoQuIR的新基准，用于评估代码检索系统在功能相关性之外的维度，包括正确性、效率、安全性和可维护性。CoQuIR包含11种语言的42,000多个查询的注释，并指出当前的检索模型常常无法区分高质量和低质量代码。
-
FLARE框架通过细粒度错误检测改进LLM代码生成
研究人员开发了FLARE，一个旨在提高大型语言模型生成代码准确性的新框架。FLARE利用一个轻量级的诊断模型来精确定位可能包含错误的具体代码行，提供比现有方法更精确的反馈。实验表明，FLARE的性能显著优于当前基线，根据搜索策略的不同，改进幅度在1.72%到8.50%之间。
-
ReCode框架通过奖励推理过程来增强AI代码生成
研究人员开发了ReCode，一个新颖的强化学习框架，旨在通过关注推理过程来改进代码生成。该框架使用对比推理过程奖励学习（CRPL）在合成的推理变体上训练奖励模型，并使用一致性门控GRPO（CG-GRPO）来整合这些奖励，同时通过执行结果缓解奖励攻击。ReCode应用于一个7B模型时，比其基础版本提高了16.1%，并在各种基准测试上取得了与GPT-4-Turbo相当的性能。