研究人员推出了DARE(修复增强的难度分析),一个旨在更好地评估基于LLM的编码代理的新框架。DARE通过测量和预测任务难度来解决仅依赖解决率的局限性。它分析特征组,以了解任务的哪些方面对代理来说最具挑战性,并利用这些见解提供有针对性的修复支持。实验表明,将代理支持与突出的任务特征相匹配可以提高修复成功率,并为代理评估和基准比较提供更细致的方法。 AI
影响 DARE为评估LLM编码代理提供了一种更稳健的方法,可能带来更有效的代理开发和自动化程序修复的针对性改进。
排序理由 该集群包含一篇研究论文,详细介绍了用于分析和增强LLM编码代理性能的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- DagsHub
- Gotit.pub
- Hugging Face
- Repair-Task Feature Groups
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →