PulseAugur
中
实时 09:27:03
English(EN) The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context

研究发现：代码助手召回率优化可能阻碍问题解决

作者 PulseAugur 编辑部 · [2 个来源] ·

arXiv上的一项新研究表明，在代码助手中优化检索配置以提高recall@k可能会适得其反，降低问题解决率。研究发现，禁用一个特定的文件去重标志（该标志降低了召回率）实际上提高了GPT 5.6 "Sol"和Qwen3.6-27B等模型的单次解决率。这种效应在词汇BM25检索器上未被观察到，这表明在固定预算的代码修复任务中，检索策略与LLM性能之间存在复杂的相互作用。 AI

影响 这项研究表明，仅优化检索指标可能无法在代码修复任务中带来更好的性能，这促使人们重新评估如何为代码助手调整检索组件。

排序理由 该集群包含一篇学术论文，详细介绍了对LLM检索配置的对照研究。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

研究发现：代码助手召回率优化可能阻碍问题解决

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Alexander Adkins, Teimuraz Trapaidze ·

    召回陷阱：最大化召回率的检索器配置可减少固定预算代码上下文中的问题解决

    arXiv:2608.14838v1 Announce Type: cross Abstract: Retrieval components for code assistants are tuned against retrieval metrics: a configuration that raises recall@k is adopted, and downstream task success is assumed to follow. We report a controlled case study in code repair, not…

  2. arXiv cs.IR (Information Retrieval) TIER_1 English(EN) · Teimuraz Trapaidze ·

    召回陷阱：最大化召回率的检索器配置可减少固定预算代码上下文中的问题解决

    Retrieval components for code assistants are tuned against retrieval metrics: a configuration that raises recall@k is adopted, and downstream task success is assumed to follow. We report a controlled case study in code repair, not a new phenomenon but a deployed-flag, execution-g…

相关实体

相关话题