PulseAugur
中
实时 23:20:13
实体 FrontierHarness Eval v1.1

FrontierHarness Eval v1.1

PulseAugur coverage of FrontierHarness Eval v1.1 — every cluster mentioning FrontierHarness Eval v1.1 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_363644 ·

    编码代理成本由模型驱动,但工具链会增加费用

    一项新的基准测试 FrontierHarness Eval v1.1 显示,虽然 AI 模型本身占编码代理成本变化的 92.8%,但工具链(harness)配置可以将相同模型的成本提高高达 5 倍。研究发现,很大一部分支出(64.5%)用于最终失败或超时的试验,代理经常提供自信但错误的最终答案。这表明 AI 编码代理的成本更多地受到所采取的步骤数量和验证过程的影响,而不仅仅是模型的能力。