FEA-bench

新论文提出解决方案，应对AI编码基准测试的过度指定问题

一篇新研究论文探讨了AI编码基准测试中过度指定和指定不足的挑战。作者提出了推导出简约提示的方法，以避免泄露可能导致“剧透”并降低基准测试效用的真实信息。该论文审查了SWE-bench Pro、FEA-bench、Doc2Feat-bench和Multi-SWE-bench等现有基准测试，并提出了在提供必要指导和防止解决方案绕过核心评估指标之间取得平衡的技术。