Terminal-Bench 4.0
PulseAugur coverage of Terminal-Bench 4.0 — every cluster mentioning Terminal-Bench 4.0 across labs, papers, and developer communities, ranked by signal.
- instance of Kimi K3.1 Pro 90%
- instance of OSWorld 2.1 90%
- developed V4.1-Flash-1017 90%
- instance of mini-SWE-v2 90%
- instance of Claude (Opus 5.5) 70%
- instance of GPT-6.1 Sol 70%
- competes with Claude (Opus 5.5) 70%
- competes with Claude Sonnet 5.5 70%
- competes with Gemini 4 Argon 70%
- competes with Opus 5.5 70%
- competes with GPT-6 Sol 70%
- competes with Sonnet-5.5 70%
23 天有情绪数据
-
开发者对代码审查的 LLM 进行基准测试，发现解析和路由错误
一位开发者针对其公司的代码审查流程对八个大型语言模型进行了基准测试，发现模型性能和成本并非唯一需要考虑的因素。基准测试揭示了模型输出解析方面的问题，其中 Claude Opus 5.5 的 JSON 输出因其散文中的一句话而被误解。此外，评估过程本身存在一个 bug，即 Claude 模型并未按预期调用，由于路由规则，系统默认使用了 DeepSeek 和 Kimi 等其他模型。这凸显了健壮的评估流程以及对模型使用和成本进行仔细监控的重要性。
-
AI基准测试显示AI擅长琐事但难以胜任专家工作 · 跟踪2个来源
2026年11月2日发布的两个新基准测试，对AI能力提出了截然不同的看法。OpenAI的LifeVal基准测试旨在测试日常任务，如购物和为孩子报名入学，显示其GPT-6 Astra模型达到了80.6%的平均奖励。相比之下，SemiAnalysis的GDPx基准测试评估AI在复杂专业任务上的表现，如芯片设计和法律分析，发现Anthropic的Claude Opus 5.5只能完成12.0%的任务。Tokely的一项独立分析显示，包括Ar…
-
Mistral Large 4 开放权重已发布；自托管需要大量硬件
Mistral AI 发布了其 Mistral Large 4 模型的开放权重，这是一个拥有 1.05 万亿参数的混合专家架构。该模型昵称为“Le Chonk”，拥有 100 万个 token 的上下文窗口，并支持多模态输入。虽然每个 token 的活跃参数数量约为 520 亿，使得推理成本与较小模型相当，但总参数数量要求自托管需要大量硬件，权重从几百 GB 到超过 1 TB 不等。该模型的许可证是修改版的 MIT 许可证，其中包含作…
-
Gemini 4 Argon 表现不一，token 使用量高
自通用可用以来，Google 的 Gemini 4 Argon 模型表现不一，在人工智能分析指数 v5.0 上获得 50 分，落后于 Claude Opus 5.5 和 GPT-6 Astra。尽管 Google 声称 Argon 在许多基准测试中领先，但独立数据显示，与前代产品和竞争对手相比，它更冗长，在任务中消耗的 token 明显更多。开发人员报告称 Argon 的编码能力存在问题，并且它倾向于优先考虑规则而非正确性，尽管它在知…
-
谷歌发布Gemini 4 Carbon，分阶段推出优先考虑网络防御者
Google DeepMind发布了其最新的前沿模型Gemini 4 Carbon，该模型在人工智能分析智能指数上取得了最高分。这款新模型被定位为Gemini 4 Argon的继任者，拥有增强的网络安全和长视距能力，据报道能够执行持续的自主工程任务。然而，其发布策略值得关注，初期访问仅限于网络安全防御者和经过审查的合作伙伴，之后才会向公众广泛推出，这种模式可能会成为未来前沿模型部署的行业标准。
-
Google 发布 Gemini 4 Carbon，在 AI 基准测试中名列前茅
Google 发布了 Gemini 4 Carbon，这是其 Gemini 4 系列最新、最先进的模型，将其定位为长篇工程任务和网络安全领域的领导者。该模型在人工智能分析智能指数 v5.0 中取得了最高分，并在识别和修补软件漏洞方面表现出色。虽然 Gemini 4 Carbon 在各种基准测试中都超越了其前代产品 Gemini 4 Argon，但目前正在选择性推出，优先考虑网络安全专业人士，然后再向更广泛的开发者开放。
-
Mistral AI 将于 2026 年 10 月前发布具有开放权重的万亿参数模型
Mistral AI 已宣布，其 Large 4 模型（一个拥有约万亿参数的多模态混合专家模型）将于 2026 年 10 月底以开放权重形式发布。该模型专为效率而设计，每个 token 仅激活一小部分参数，并在欧洲使用 NVIDIA Grace Blackwell GPU 进行训练。Mistral 将 Large 4 定位用于编码、代理工作流和网络安全评估等任务。发布这样一个具有开放权重的庞大模型预计将对开放 AI 格局产生重大影响，…
-
每个任务的LLM成本差异很大，每token价格具有误导性
Artificial Analysis 的一项新分析显示，仅通过每token价格来比较大语言模型（LLM）具有误导性。由于努力设置、缓存和促销定价等因素，每个任务的实际成本可能差异很大。例如，Claude Sonnet 5.5 和 GPT-6.1 Sol 的每token价格相同，但 GPT-6.1 Sol 每个任务的成本却便宜近三倍。同样，更高的努力设置会显著增加 Claude Opus 5.5 等模型的成本，有时性能却不成比例地增加。
-
OpenAI推出成本效益高的GPT-6.1 Terra，挑战任务完成成本
OpenAI发布了GPT-6.1 Terra，这是一款专为高吞吐量自动化任务设计的高效且经济的模型。虽然其API价格比GPT-5.6 Terra等前代产品低50%，但作者强调，实际成本取决于每次成功任务的成本，其中包括模型支出和人工清理成本。GPT-6.1 Terra在速度、事实准确性和Terminal-Bench 4.0等基准测试中的表现方面取得了显著进步，在各种推理和编码任务中均优于GPT-5.6 Terra。然而，对于最复杂的编…
-
Mistral AI 发布拥有开放权重的 1T 参数模型“Le Chonk”
Mistral AI 发布了代号为“Le Chonk”的 Mistral Large 4，这是一个拥有 1 万亿参数的多模态混合专家模型。该模型采用开放权重，在欧洲基础设施上训练，在编码和网络安全任务方面表现出色，在 FrontierCode 和 Terminal-Bench 等基准测试中优于其他开放模型。它拥有 100 万个 token 的上下文窗口，支持文本和图像输入，并提供三种可配置的推理模式以平衡性能和成本。
-
Moonshot AI 发布 Kimi K3.1 Pro，为安全故意削弱网络能力
Moonshot AI 发布了 Kimi K3.1 Pro，这是一个拥有百万级上下文窗口的大型开放权重模型。值得注意的是，该公司故意从该模型中移除了网络攻击相关的训练数据，导致其发现和利用安全漏洞的能力明显下降，优先考虑了安全性而非最大化能力。此举重新定义了关于开放权重模型性能的讨论，表明一些人认为其落后于闭源模型的差距可能是实验室在训练数据内容方面有意识的选择。另外，上海人工智能实验室发布了 Atria Dawn，一个拥有 512K…
-
谷歌的Gemini 4 Carbon AI旨在发现软件漏洞
谷歌开发了一款新的人工智能模型Gemini 4 Carbon，旨在识别和修复软件漏洞。该模型是Gemini 4 Argon的升级版，目前通过谷歌的Fairwind计划向部分网络安全专业人士开放，未来计划扩大访问范围。值得注意的是，Gemini 4 Carbon在Terminal-Bench 4.0编码测试中表现出显著的改进，大幅减少了作弊行为，并成功识别出大型代码库中的细微错误。
-
Kimi K3.1 Pro、Claude Sonnet 5.5、DeepSeek V4.1 Flash 针对印度开发者的比较
对 Kimi K3.1 Pro、Claude Sonnet 5.5 和 DeepSeek V4.1 Flash 三个大型语言模型的比较，突出了它们对印度开发者的成本效益和性能。由于 Claude Sonnet 5.5 在 Terminal-Bench 4.0 等基准测试中的强劲表现以及与 Opus 5.5 相比具有竞争力的定价，因此推荐其用于代理编码任务。Kimi K3.1 Pro 提供近乎前沿的质量和自托管的潜力，而 DeepSee…
-
Google DeepMind 发布 Gemini 4 Carbon，限制网络安全专业人士使用
Google DeepMind 宣布推出 Gemini 4 Carbon，这是一款拥有增强网络安全和长上下文能力的新型前沿模型，于 2026 年 10 月 29 日发布。据报道，Carbon 在 SEC-bench Pro 和 ExploitGym 等基准测试中表现优于其前身 Gemini 4 Argon，但 Argon 仍可通过 Gemini API 公开访问。Carbon 目前仅限于选定的网络安全专业人士使用，并计划在未来向合作伙…
-
Gemini 4 Carbon 在人工智能安全基准测试中领先，Claude 发现 Chrome 漏洞
Google DeepMind 发布了 Gemini 4 Carbon，这是一款专为网络安全任务设计的新型前沿模型，在人工智能分析智能指数 v5.0 上取得了高分，并展示了在漏洞检测和提示注入防御方面的强大能力。与此同时，Anthropic 的研究披露，其 Claude 模型发现了 Google Chrome 中的 62 个关键漏洞，这些漏洞现已被修复。报告还提到了 Microsoft 和 Alphabet 的财报，强调了人工智能在云…
-
Google DeepMind 发布 Gemini 4 Carbon 用于网络安全和编码
Google DeepMind 推出了 Gemini 4 Carbon，这是一个专为高级网络安全防御和复杂编码任务设计的新前沿模型。据报道，该模型在几个关键基准测试中，特别是在漏洞查找、利用和修补方面，其表现优于其前身 Gemini 4 Argon 以及 GPT-6 Astra 和 Claude Opus 5.5 等其他领先模型。然而，目前 Gemini 4 Carbon 的访问权限仅限于选定的网络安全专业人士和受信任的合作伙伴，没有…
-
人工智能分析指数 v5 将 Claude Opus 5.5 列为最高
Artificial Analysis 发布了其第五版 Intelligence Index，这是一个衡量人工智能模型能力的综合指标。新版本 v5 包含两个新的基准测试和三个升级的评估数据集，其评估的 60% 现在使用私有数据集。该指数显示 Claude Opus 5.5 是领先的模型，紧随其后的是 OpenAI 的 GPT-6 Astra 和 GPT-6.1 Sol。领先的专有模型和开放权重模型之间的差距也显著扩大。
-
Moonshot 的 Kimi K3.1 Pro 通过增强的训练后改进显示出重大进展
Moonshot 发布了 Kimi K3.1 Pro，这是其 Kimi K3 模型的更新版本，由于训练后改进的增强，在编码和幻觉基准测试中显示出显著的改进。虽然基础模型架构保持不变，但强化学习框架和推理系统得到了升级，导致人工智能分析智能指数的性能显著提升。然而，与同类产品相比，Kimi K3.1 Pro 速度明显较慢，并且每项任务生成的 token 更多，这使得其成本效益取决于具体的工作负载，并可能影响用户配额。
-
OpenAI 发布 GPT-6.1 Terra，大幅降低成本并宣布 AI 驱动的科学突破
OpenAI 发布了 GPT-6.1 Terra，这是一款专注于降低计算机操作任务成本同时保持强大性能的新模型。与之前的版本相比，该模型的 API 价格显著降低，并且在屏幕理解和跨软件协作等方面的能力可与旗舰模型相媲美。同时，OpenAI 宣布其 AI 系统在数学、计算机科学和物理学领域取得了三项新的科学发现，包括对长期存在的猜想和理论的证明。
-
OpenAI 发布 GPT-6.1 Terra，以降低成本处理大批量任务 · 跟踪到 2 个来源
OpenAI 发布了 GPT-6.1 Terra，这是一款专为大批量、以计算为中心的任务（如发票处理和表单填写）设计的新模型，价格为其前身 GPT-5.6 Terra 的一半。虽然在这些特定用例中速度更快且成本效益更高，但 OpenAI 指出，其更先进的模型 Sol 和 Astra 在复杂的编码任务方面仍然更胜一筹。Terra 的定价结构除了基础代币成本外，还包含几个因素，例如超过 272,000 个输入代币的请求价格大幅上涨，以及缓…