Terminal-Bench 2.1
PulseAugur coverage of Terminal-Bench 2.1 — every cluster mentioning Terminal-Bench 2.1 across labs, papers, and developer communities, ranked by signal.
- instance of GLM-5.2 90%
- instance of Claude Opus-5 90%
- instance of Terminal-Bench 4.0 90%
- used by Ripple 65B 90%
- used by Ripple-65B 90%
- used by Laguna S 2.1 90%
- instance of SWE-Bench Pro v2.0 Hard 90%
- competes with Claude Fable-5 80%
- instance of Kimi k3 70%
- used by GPT 5.6 "Sol" 70%
- competes with GPT 5.6 "Sol" 70%
- instance of GPT 5.6 "Sol" 70%
21 天有情绪数据
Terminal-Bench 2.1 will see increased usage by open-source LLM developers
The recent surge in powerful open-source LLMs (e.g., from Chinese labs and Nex AGI) that rival closed-source models necessitates robust evaluation. Terminal-Bench 2.1 is emerging as a reliable benchmark, replacing older metrics. As these open-source models are increasingly used for complex tasks, developers will likely adopt Terminal-Bench 2.1 to validate their performance against real-world agentic workflows.
Terminal-Bench 2.1 adoption driven by shift to real-world agent use cases
Recent evidence highlights a growing emphasis on evaluating agent performance based on real-world use cases rather than simple scores. Terminal-Bench 2.1 is explicitly mentioned as an upgraded benchmark designed for this purpose, alongside a 250-turn limit. This suggests that its adoption is likely to increase as the community prioritizes more practical evaluation methods.
Terminal-Bench 2.1 gaining traction as a key agent evaluation benchmark
The recent cluster evidence highlights Terminal-Bench 2.1 multiple times in the context of updated agent benchmarks that reflect real-world use cases. This suggests it is becoming a more prominent and reliable metric for evaluating AI agent performance, moving beyond older benchmarks like HumanEval.
Terminal-Bench 2.1 will be integrated into more agent frameworks within 3 months
Given its increasing mention as a benchmark for real-world use cases and its inclusion in updated agent benchmarks, it's plausible that Terminal-Bench 2.1 will see broader adoption. Developers of agent frameworks may integrate it to provide more robust performance evaluations for their users.
-
Vidraft 发布 POCKET-27B-Pi,一款用于高效编码任务的紧凑型 LLM
Vidraft Lab 发布了 POCKET-27B-Pi,这是一款专注于编码的 LLM,针对消费级硬件的效率和性能进行了优化。该模型提供 16.5GB Q4_K_M 量化版本,在编码基准测试中显著优于其前代产品和 Qwen3.8-27B 等竞争对手。POCKET-27B-Pi 通过减少完成任务所需的代理步骤数量来实现这一点,使其对于在本地运行模型而无需外部 API 调用的开发人员来说更快、更具成本效益。
-
Microsoft AI 发布 7 款内部模型以降低成本,媲美 GPT-6 和 Claude
Microsoft AI 在其 Ignite 2026 活动上发布了七款新的内部模型,旨在减少对外部 AI 提供商的依赖。新模型,包括 MAI Code 2 和 MAI Image 2.7,旨在以远低于 GPT-6.1 Sol 和 Claude Opus 5.5 等领先模型的成本提供具有竞争力的性能。Microsoft 强调,MAI Code 2 的性能达到 GPT-6.1 Sol 的 98%,而成本仅为其 40%;MAI Cyber…
-
Clover-35B-A3B-Preview 语言模型在代理基准测试中达到 SOTA
一份新的技术报告介绍了一种名为 Clover-35B-A3B-Preview (Clover) 的混合专家扩散语言模型,该模型拥有 350 亿总参数和 30 亿激活参数。Clover 利用门控 Delta 网络,在七项代理指标上取得了最先进的性能,包括在 SWE-bench Verified 和 Terminal-Bench 2.1 上获得高分。该模型在单个 NVIDIA GB300 GPU 上展示了令人印象深刻的 680 token…
-
新的蒸馏方法利用通信来转移AI模型能力
研究人员开发了一种名为通信策略内蒸馏(Communicative On-Policy Distillation, COPD)的新方法,使小型语言模型能够从大型黑盒模型中学习。COPD利用自然语言通信作为知识转移的媒介,允许学生模型提问并从教师模型那里获得指导,而无需预定义模板。这种方法在长时任务上显示出显著的改进,优于现有的黑盒蒸馏方法,并能泛化到各种基准测试。
-
Hugging Face适配器将Qwen3.8的编码成功率提升至65%
Hugging Face发布了一个新的LoRA适配器Qwen3.8-27B-pi-adapted,旨在增强Qwen3.8-27B模型的编码能力。该适配器使用强化学习进行训练,显著提高了在SWE-bench Pro等编码基准测试上的性能,将成功率从39%提升至65%。除了准确性提升外,该适配器还大大减少了任务所需的token数量和轮次,提高了编码代理的效率。
-
Nvidia 详解 Nemotron 3.5 Super 强化学习后训练的收益
Nvidia 详细介绍了其 Nemotron 3.5 Super 模型在专家构建任务上进行强化学习后训练的性能改进。该模型,特别是其拥有 12B 激活参数 LoRA 适配器的 120B 参数版本,在 IFBench、GDP_pdf、SWE-bench Pro V2 和 Chartography 等多个基准测试中取得了显著的提升。这些改进是通过在专注于软件工程、复杂约束、长时域工具使用、图表理解和企业文档推理的数据集上训练适配器来实现的…
-
Ripple-65B 声称在编码基准测试中领先,但存在 harness 担忧 · 跟踪到 2 个来源
Ripple-65B 在编码基准测试中报告了强劲的性能,在 Terminal-Bench 2.1 上取得了 80.52 的分数,在 SWE-bench Pro v2.0 Hard 上取得了 79.1 的分数。然而,有人对其使用的比较方法提出了担忧。具体来说,模型卡显示使用了不同的 harness,Ricursive 指出使用了混合 harness 和供应商运行的评估,这表明需要独立复制来验证这些说法。
-
Ricursive Intelligence 发布小型高效编码AI模型 Ripple-65B
Ricursive Intelligence 发布了 Ripple-65B Preview,这是一个为高效编码任务设计的开放权重AI模型。该模型拥有650亿参数,声称在 Terminal-Bench 2.1 和 SWE-bench Pro v2.0 Hard 等基准测试中优于 Meta 和 Thinking Machines 等竞争对手的更大模型。这一发展表明,更小、更高效的模型可能在实际AI编码助手方面变得越来越有价值,从而可能降低…
-
新的 Qwen3.8-27B 适配器提升编码性能
Qwen/Qwen3.8-27B 模型发布了两个新的 LoRA 适配器:harness-hub/Qwen3.8-27B-opencode-adapted 和 harness-hub/Qwen3.8-27B-pi-adapted。这些适配器使用强化学习进行训练,以提高在软件工程和终端任务上的性能。OpenCode 适配器在 SWE-bench Pro 和 Terminal-Bench 2.1 上表现出显著的改进,以更少的 token 和…
-
Ripple 65B 基准测试得分喜忧参半
Ripple 65B 据称在 Terminal-Bench 2.1 基准测试中获得了 80.5 分,略微超过了 Reflection Beam 的 80.1 分。然而,在另一项评估中,Ripple 65B 的得分为 93/157,表明存在超时和上下文限制方面的问题。
-
Ricursive Intelligence 发布 Ripple 65B 开源编码模型
Ricursive Intelligence 发布了 Ripple 65B Preview,这是一个开放权重编码模型,声称在 Terminal-Bench 2.1 和 SWE-Bench Pro v2.0 Hard 等基准测试中表现优异。此次发布意义重大,因为它侧重于实际应用,旨在使开发人员能够进行可靠的代码库更改。该模型允许广泛访问和修改,其宽松的 Apache 2.0 许可证是一个关键的差异化因素,这在来自中国(如 Moonsho…
-
Edge0发布面向笔记本电脑的145B开源模型
Edge0发布了Edge0-145B,这是一个拥有1450亿参数的开源模型,专为在高端笔记本电脑上运行而设计。该稀疏专家混合模型在推理过程中需要大约29GB的峰值内存,并且其大部分参数并非处于激活状态。Edge0声称该模型在多项基准测试中的表现可与云端模型相媲美,尽管这些结果来自内部测试,尚未得到独立验证。该模型源自Qwen3.8-Flash-Next,并以社区许可的形式提供。
-
Ripple AI 模型在基准测试中表现不一
Ricursive 在其 Ripple 模型上报告的 Terminal-Bench 2.1 基准测试中取得了 80.5 分的领先优势。然而,一项独立测试显示得分仅为 157 分中的 93 分,并引用了提供商超时和上下文限制等问题。这表明 Ripple 模型虽然有潜力,但在某些测试条件下其性能可能不稳定。
-
开源编码代理以低成本实现高 Terminal-Bench 分数 · 已追踪 2 个来源
一个名为 AgenC Core 的开源编码代理在使用 DeepSeek V4.1 Flash 模型的情况下,在 Terminal-Bench 2.1 基准测试中取得了 84.5% 的分数。这次运行的成本效益显著,445 次试验的总推理成本为 27 美元,远低于排行榜上的其他条目。该代理的性能在 Harbor Hub 上有详细介绍,但由于社区提交已关闭,它并非官方排行榜提交。
-
开发者跨五个大型语言模型路由代理任务,优先考虑速度和任务适用性
一位开发者详细介绍了一种策略,用于跨多个大型语言模型(包括 Astra、Opus 以及来自 OpenAI 和 Anthropic 的模型)路由代理任务。该方法优先考虑速度和任务适用性,其中 Astra 和 Sol 等模型速度较慢,但更适合特定的计算机使用任务。开发者指出,虽然他们的个人订阅体验显示 Astra 和 Sol 速度较慢,但 Vals AI 的 Terminal-Bench 2.1 的基准测试结果表明,对于终端任务而言情况并…
-
新的 Harness Leaderboard 评测 Kimi Code、Hermes、Pi 和 Claude Code
一个新的排行榜 Harness Leaderboard 发布,评估了各种专注于代码的大型语言模型。该基准测试包括 Kimi Code、Hermes、Pi 和 Claude Code 等模型,以及 .codex。这些模型在 Terminal Bench 2.1 和 Deep SWE 1.1 数据集上进行了测试,以评估它们在编码任务中的性能。
-
Ripple 65B 预览版在关键基准测试中表现优于 Qwen 3.8
对 Ripple 65B 预览版模型与 Qwen 3.8 的两个版本(27B 和 Flash (FN) 模型)的比较显示,在不同基准测试中的表现各不相同。Ripple 65B 在 Terminal Bench 2.1 和 SWEBench Pro 中领先,而 Qwen 3.8 Flash (FN) 在 DeepSWE 1.1 中表现出色。SWEBench Pro 的结果指出,Ripple 和 Qwen 使用了不同的版本,这可能会影响直接可比性。
-
新基准测试“Terminal-Bench 2.1”发布,以应对人工智能评估的陈旧问题
一篇新论文介绍了一个用于编码代理的基准测试的更新版本 Terminal-Bench 2.1,该版本解决了“基准测试维护债务”问题,即随着模型改进,评估会变得陈旧。研究强调,原始 Terminal-Bench 2.0 中约有 30% 存在问题,而 2.1 版本中的修复将准确率提高了 10 多个百分点。该研究还强调了资源分配(如时间限制)对代理性能的影响,表明这些参数是基准测试规范的关键组成部分。
-
Ripple-65B LLM 需要自定义构建才能本地执行
Ripple-65B 大型语言模型现已可供本地执行,但需要特定的配置和修补的软件。Ollama 和默认的 llama.cpp 构建等标准工具无法加载模型的 GGUF 文件,因此需要修改版的 llama.cpp。性能基准测试(主要来自 Ricursive)显示其在 Terminal-Bench 2.1 上表现强劲,超越了其他模型,但 Ripple-65B 是一个密集型模型,意味着它为每个 token 使用所有 650 亿个权重,这会影响带宽需求。
-
Ricursive Intelligence发布Ripple-65B Preview,一个650亿参数的开源编码模型 · 跟踪8个来源
Ricursive Intelligence发布了Ripple-65B Preview,一个拥有650亿参数的开源语言模型。该模型在TerminalBench 2.1编码基准测试中取得了强劲表现,得分80.5,超过了更大的开源美国模型。Ripple-65B Preview的总研发成本为3200万美元,根据Apache 2.0许可证发布,专为代理编码任务设计。