Terminal-Bench 2.1
PulseAugur coverage of Terminal-Bench 2.1 — every cluster mentioning Terminal-Bench 2.1 across labs, papers, and developer communities, ranked by signal.
11 天有情绪数据
Terminal-Bench 2.1 will see increased usage by open-source LLM developers
The recent surge in powerful open-source LLMs (e.g., from Chinese labs and Nex AGI) that rival closed-source models necessitates robust evaluation. Terminal-Bench 2.1 is emerging as a reliable benchmark, replacing older metrics. As these open-source models are increasingly used for complex tasks, developers will likely adopt Terminal-Bench 2.1 to validate their performance against real-world agentic workflows.
Terminal-Bench 2.1 adoption driven by shift to real-world agent use cases
Recent evidence highlights a growing emphasis on evaluating agent performance based on real-world use cases rather than simple scores. Terminal-Bench 2.1 is explicitly mentioned as an upgraded benchmark designed for this purpose, alongside a 250-turn limit. This suggests that its adoption is likely to increase as the community prioritizes more practical evaluation methods.
Terminal-Bench 2.1 gaining traction as a key agent evaluation benchmark
The recent cluster evidence highlights Terminal-Bench 2.1 multiple times in the context of updated agent benchmarks that reflect real-world use cases. This suggests it is becoming a more prominent and reliable metric for evaluating AI agent performance, moving beyond older benchmarks like HumanEval.
Terminal-Bench 2.1 will be integrated into more agent frameworks within 3 months
Given its increasing mention as a benchmark for real-world use cases and its inclusion in updated agent benchmarks, it's plausible that Terminal-Bench 2.1 will see broader adoption. Developers of agent frameworks may integrate it to provide more robust performance evaluations for their users.
-
4位 GLM-5.2 量化模型在 Terminal-Bench 2.1 上达到 70.8%
用户成功在配备 100K 上下文的 DGX Spark 设置上运行了 GLM-5.2 (753B MoE) 模型的 4 位量化版本。该量化模型在 Terminal-Bench 2.1 基准测试中取得了 70.8% 的成绩,约为全精度模型性能的 87%。该实验需要大量的计算资源,并在 72.5 小时的运行时间内遇到了几项技术挑战。
-
NVIDIA 发布基于 DeepSeek-V3 架构的 Kimi-K2.7-Code
NVIDIA 发布了 Kimi-K2.7-Code,这是一个基于 DeepSeek-V3 架构的开源模型。该模型拥有 320 亿活跃参数和 256,000 个 token 的上下文窗口。它在 vLLM 框架内使用了推测解码,并已针对 NVFP4 硬件进行了量化部署,支持文本、图像和视频模态。性能评估包括 SWE-bench Verified 和 Terminal-Bench 2.1,但训练数据中包含有毒内容。
-
Anthropic 的 Claude Sonnet 5 成为默认模型,在关键编码任务上表现优于 Opus
Anthropic 发布了 Claude Sonnet 5,该模型现已成为其免费版和 Pro 版的默认模型,也可通过 API 使用。这一新版本在编码基准测试(如 SWE-bench Pro 和 Terminal-Bench 2.1)方面取得了显著改进,在某些任务上甚至超越了旗舰模型 Opus 4.8。虽然 Opus 4.8 在一些复杂基准测试中仍略占优势,但 Sonnet 5 处理多步任务能力的增强及其更易于接受的定价使其成为大多数用…
-
Tencent 发布 Hy3,一个开放的 295B MoE 模型,支持 256K 上下文
Tencent 发布了 Hy3,一个开源的 2950 亿参数专家混合(MoE)模型,专为复杂推理、代理工作流和长上下文任务而设计。该模型每个 token 只激活 210 亿参数,在保持效率的同时支持 256K 的上下文窗口。Hy3 在编码、STEM 和推理任务等各种基准测试中表现出色,并经过特定训练以提高工具调用中的可靠性、减少幻觉并增强多轮意图跟踪。该模型可通过兼容 OpenAI 的 API 访问,并提供 `reasoning_ef…
-
AI基准测试图表:如何识别饱和度和污染
一份关于解读AI基准测试图表的指南,特别是针对2026年的模型,强调了常见评估中的局限性和被误导的可能性。SWE-bench Pro等基准测试被引入,以对抗旧指标中出现的数据污染,从而更可靠地评估编码能力。Terminal-Bench 2.1等较新的代理基准测试为实际计算机操作提供了代理,尽管分数可能因使用的测试工具而异。对于GPQA Diamond等高度饱和的基准测试,微小的分数差异在统计学上没有意义,这表明应关注较新、不那么饱和的…
-
GLM 5.2 在 Terminal-Bench 2.1 上以 FP8 精度达到 79.8%
一位 Reddit 用户分享了 GLM 5.2 模型的基准测试结果,在 Terminal-Bench 2.1 测试中取得了 79.8% 的分数。用户指定该分数是在使用 H200 硬件和 sglang 的设置下,同时对模型权重和键值缓存使用 FP8 精度实现的。基准测试包含 89 个任务,其中 71 个通过,17 个失败,1 个任务超时。
-
开源 Ornith-1.0 模型挑战前沿人工智能实验室
DeepReinforce 发布了 Ornith-1.0,这是一个新的开源模型系列,其性能可与领先的专有模型相媲美。据报道,这些模型在 Terminal-Bench 2.1 基准测试中表现优于 Claude Opus 4.7。此次发布旨在通过提供强大、易于访问的替代方案来挑战前沿人工智能实验室的主导地位。
-
美国出口订单使顶级AI编码模型停用;GPT-5.5引领可用工具
Claude Fable-5在Terminal-Bench 2.1基准测试中取得了88.0%的领先分数,超过了GPT-5.5。然而,该模型自6月12日起因美国出口管制令而无法使用。在目前可访问的工具中,由GPT-5.5驱动的Codex CLI以83.4%的分数领先,险胜Claude Code(使用Opus 4.8),得分为82.7%。该基准测试强调,编码代理的有效性显著受到其周围的工具链和支持工具的影响,而不仅仅是底层模型。
-
智谱AI发布拥有100万上下文窗口的GLM-5.2,挑战顶级闭源模型
智谱AI发布了GLM-5.2,这是一个拥有100万token上下文窗口的744B参数混合专家模型,并采用MIT许可协议发布权重。该模型在BenchLM排行榜上名列前茅,并在编码基准测试中表现强劲,使其成为可与Claude Opus 4.8和GPT-5.5等闭源模型相媲美的领先开源选项。然而,文章强调,尽管扩展的上下文窗口功能强大,但如果管理不当,可能会导致API成本显著增加,并敦促开发人员优化token使用。
-
OpenAI 发布 GPT-5.6 Sol,实行分级访问,需政府批准
OpenAI 发布了其新的旗舰模型 GPT-5.6 Sol,以及另外两个版本:Terra 和 Luna。GPT-5.6 Sol 表现强劲,在 Terminal-Bench 2.1 基准测试中略微超过 Claude Mythos。然而,GPT-5.6 Sol 的访问目前仅限于约 20 家政府批准的公司,据报道这是应美国政府的要求,类似于 Anthropic 的 Fable 5 模型也受到了类似限制。
-
OpenAI 发布 GPT-5.6 系列,包含 Sol、Terra 和 Luna 模型
OpenAI 宣布推出 GPT-5.6 系列模型,包括 Sol、Terra 和 Luna。GPT-5.6 Sol 被定位为新的旗舰模型,提供增强的功能,特别是在网络安全和复杂的命令行工作流方面,在 Terminal-Bench 2.1 上设定了新的基准。Terra 在性能和成本效益之间取得了平衡,而 Luna 则专为大批量、经济高效的任务而设计。最初,GPT-5.6 Sol 将通过 Codex 和 API 以有限预览的形式提供给受信任…
-
中国的GLM-5.2在编码基准测试中挑战GPT-5.5和Claude Opus
智谱AI的GLM-5.2是中国的一款前沿模型,据报道在编码基准测试中表现强劲,超越了OpenAI的GPT-5.5和Anthropic的Claude Opus 4.7。在FrontierSWE基准测试中,GLM-5.2得分74.4%,略微落后于Claude Opus 4.8,但优于GPT-5.5。该模型在Terminal-Bench 2.1上也显示出显著的进步,并且在编码能力上与领先的专有模型相当,同时还提供了开源选项。
-
DeepReinforce AI 发布 Ornith-1.0 系列开源编码模型
DeepReinforce AI 发布了 Ornith-1.0 系列开源模型,专为代理编码任务设计。这些模型有多种尺寸,包括 9B、35B 和 397B 参数,基于 Gemma 4 和 Qwen 3.5 构建。Ornith-1.0 模型在 Terminal-Bench 2.1 和 SWE-Bench 等编码基准测试中展现了最先进的性能,采用了自改进训练框架,优化了解决方案生成和底层脚手架。
-
StepFun 发布 Step 3.7 Flash,支持视觉和自动升级
StepFun 发布了其 3.5 Flash 模型的升级版本 Step 3.7 Flash,该版本包含一个新的视觉编码器和一个自动“Advisor Mode”,可以将复杂任务升级到更大的模型。此次更新旨在提高性能一致性,缩小不同任务输出质量的差异。该模型与 OpenAI 的 SDK 兼容,一个关键的改变是严格要求精确的区域基础 URL,以避免静默错误。
-
中国AI实验室发布强大开源模型,挑战美国前沿AI
中国的AI实验室正在迅速推进其开源模型,其中Z.ai的GLM-5.2在基准测试中取得了令人印象深刻的分数,并拥有百万级上下文窗口,以极低的成本就能媲美Opus 4.8和GPT-5.5等顶级闭源模型。DeepSeek-V4也被强调为一款强大的、成本效益高的开源模型,已用于大量实际工作。这种快速的迭代周期,在短短几个月内就实现了多次重大改进,表明开源和闭源前沿模型之间的差距正在迅速缩小,这可能会影响美国AI公司的收入预测。
-
代理基准测试更新以反映实际用例
Ash Lewis 强调了实际用例在评估代理性能方面比简单分数更重要。像 Terminal-Bench 2.1 和 τ³-Bench Banking 这样的升级版代理基准测试,以及 250-turn limit,被认为是更好地区分前沿模型至关重要的。
-
Nex AGI 发布免费开源模型,在编码方面可媲美 GPT-5.5
Nex AGI 发布了 Nex-N2-Pro,这是一款基于 Qwen3.5 的免费开源模型。该模型拥有 3970 亿参数,其中 170 亿活跃参数,并具备“自适应思考”能力,可根据任务复杂性调整推理深度。Nex-N2-Pro 在编码基准测试中取得了高分,并提供 262,144 个 token 的大上下文窗口,使其适用于复杂的软件工程任务和代理工作流。
-
开源 LLM 编程助手:新基准和许可证涌现
截至 2026 年 6 月,用于编程的开源 LLM 格局已发生显著变化,新模型和新基准正在迅速涌现。开发人员现在必须优先考虑 Apache 2.0 和 MIT 等许可证,用于商业项目,因为包括 Llama 在内的许多流行模型都有严格的条款。像 SWE-bench Pro 和 Terminal-Bench 2.1 这样更新、更可靠的基准正在取代 HumanEval 等饱和指标,突出了 MiniMax M3 等模型,该模型声称取得了最高分…
-
Anthropic 的 Opus 4.8 推出支持并行代理的动态工作流
Anthropic 发布了 Opus 4.8,引入了一个名为动态工作流的新编程模型,该模型允许在单个会话中支持数百个并行子代理。此功能旨在通过处理并发、结构化输出验证和重试来简化代理开发,从而取代自定义编排器的需求。此次更新还包括显著的基准改进,Opus 4.8 在 CursorBench 和 Terminal-Bench 2.1 评估中均超越了 GPT-5.5。
-
Anthropic 的 Opus 4.8 AI 模型提供更快、更便宜、更诚实的响应
Anthropic 发布了 Opus 4.8,这是其 AI 模型的新版本,提供了改进的性能和成本效益。该模型的定价保持稳定,但新的“快速模式”提供了 2.5 倍的速度提升,成本约为之前快速级别的三分之一,使其价格几乎降低了三倍。Opus 4.8 的一个关键改进是它自信地提供错误答案的可能性降低了,模型在不确定时现在更倾向于弃权,这对于复杂的编码任务尤其有价值。