实体 SWE-Journey

SWE-Journey

PulseAugur coverage of SWE-Journey — every cluster mentioning SWE-Journey across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_289040 · Oct 8 · 09:21

新的SWE-Journey基准测试评估编码助手在真实任务上的表现

研究人员推出SWE-Journey，这是一个旨在更真实地评估Claude Code和Codex等编码助手的新基准测试。该基准测试通过关注长时程任务和多轮交互来解决现有评估的局限性，这对于实际软件开发至关重要。该系统使用弱到强合成流水线来创建扩展编码任务，并基于四种不同的用户画像模拟真实的交互。初步结果表明，虽然助手在软件架构师场景下表现良好，但在与非编码人员交互时却面临显著困难，这凸显了它们在支持技术专业知识较少的用户方面的能力差距。