EQ-Bench3

字节跳动HarnessDev基准测试，评估LLM构建代理代码的能力

来自字节跳动Seed及其他机构的研究人员推出了HarnessDev，这是一个旨在评估LLM创建自身代理工具链能力的新基准。与固定工具链的传统基准不同，HarnessDev评估的是LLM自身生成的工具链代码的质量。初步结果表明，虽然LLM可以改进它们的工具链，但只有一部分改进能够泛化到不同的任务中，这表明完全自主改进的代理仍然是一个重大挑战。