PulseAugur
实时 02:30:58
实体 GitBug-Java: A Reproducible Benchmark of Recent Java Bugs

GitBug-Java: A Reproducible Benchmark of Recent Java Bugs

PulseAugur coverage of GitBug-Java: A Reproducible Benchmark of Recent Java Bugs — every cluster mentioning GitBug-Java: A Reproducible Benchmark of Recent Java Bugs across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_03041 ·

    LLM在转换后的基准测试上表现显著下降,表明存在记忆现象

    研究人员开发了一种结合变异测试和负对数似然的新方法,用于诊断用于程序修复的大型语言模型中的数据泄露。通过创建保留语义的转换后的变体基准测试,他们观察到包括GPT-4o和Llama-3.1在内的多个LLM的修复成功率显著下降。研究发现,在这些转换后的基准测试上的性能下降与模型记忆原始数据的可能性之间存在很强的相关性,这表明这种组合方法为检测和潜在缓解LLM评估中的数据泄露提供了一种更可靠的方式。