EQ-Bench3

字节跳动HarnessDev评估大型语言模型在代理框架工程方面的能力

来自字节跳动Seed及其他机构的研究人员开发了HarnessDev，这是一个评估大型语言模型（LLM）自行设计代理框架能力的全新评估框架。与固定框架的传统基准测试不同，HarnessDev评估模型自身为框架编写的代码。在创建阶段，模型从基本原语构建框架；在演化阶段，模型利用执行反馈进行优化。初步结果显示，不同模型和领域表现各异，Opus 4.8在编写和机器学习实验方面表现强劲，而GPT-5.5在搜索任务方面表现出色。