E2E-SWE

新基准揭示LLM在代码生成和翻译方面的局限性

引入了两个新的基准测试E2E-SWE和ORCA，以评估大型语言模型（LLM）在复杂编码任务中的能力。E2E-SWE侧重于LLM从头开始生成整个软件存储库的能力，使用11种编程语言对13个前沿模型进行了测试，结果显示性能差异显著。另一方面，ORCA评估LLM在数据科学库之间翻译代码的熟练程度，结果表明即使是像Claude Opus-4.6这样的先进模型也难以胜任这项任务，这促使开发了一种意图增强的翻译方法。