Agents Last Exam
PulseAugur coverage of Agents Last Exam — every cluster mentioning Agents Last Exam across labs, papers, and developer communities, ranked by signal.
- instance of DeepSWE v1.1 90%
- instance of GPT 5.6 "Sol" 90%
- instance of GPT -6 Astra 90%
- competes with Claude Fable-5 80%
- used by Terminal-Bench 4.0 70%
- developed by Claude Fable-5 70%
- competes with GPT 5.6 "Sol" 70%
- developed Claude Fable-5 70%
- instance of Claude Opus-5 60%
- used by Claude Fable-5 50%
- 2026-06-11 research_milestone GPT-5.5 outperformed Claude Fable 5 on the new Agents Last Exam benchmark. 来源
8 天有情绪数据
-
OpenAI 发布 GPT-6.1 Terra，价格下调 50%，速度提升 3 倍
OpenAI 发布了 GPT-6.1 Terra，这是一款新的默认层模型，与之前的版本相比，在成本和速度上都有显著的改进。Terra 的定价为每百万输入 token 1 美元，每百万输出 token 5 美元，其速度是 GPT-6 Astra 和 GPT-6.1 Sol 的三倍多，同时在复杂推理任务上的准确性也有所提高。作者提出了一种路由规则，该规则默认使用 Terra 来处理文档处理和编码等常规任务，而将 Sol 或 Astra 用…
-
新的“下注式思考”方法提高了LLM代理的可靠性
一种名为“下注式思考”（Thinking-in-Bets）的新方法已被开发出来，以提高语言模型代理的可靠性。这种无需训练的技术涉及代理在收到用户反馈之前创建其声明和置信度水平的私有记录。当受到质疑时，代理会利用此记录来维持正确的工作，同时重新评估不确定的点。该方法在八个基准测试中对五个Gemini模型进行了测试，显示虚假反转和不必要的编辑显著减少，尤其是在编码任务中。
-
MiniMax M3.1 Flash 开源模型发布，拥有 4280 亿参数
MiniMax M3.1 Flash，一个新发布的开源模型，拥有 4280 亿参数，每个 token 激活 230 亿。该模型在智能体任务、编码和网络安全方面展示了显著的进步，在 BankerToolBench 和 DeepSWE v1.1 等基准测试中取得了高分。其权重现已通过 Together 公开提供。
-
DeepSeek V4.1-Flash-1017 以更短的输出提供基准提升，API 价格不变
DeepSeek 发布了 V4.1-Flash-1017，这是其 V4.1-Flash 模型的更新版本，该模型在 MIT 许可下可用。新版本在 11 项基准测试中表现出性能提升，提升幅度从 2.0 到 11.1 分不等，据报道，它能以更短的输出来更快地完成任务。尽管有这些增强功能，API 定价保持不变，但文章指出，高峰时段和缓存使用等因素会显著影响代理任务的总成本，可能超过因输出长度缩短而节省的费用。
-
MiniMax M3.1 Flash 发布，价格更低，仅限 API 访问
MiniMax 推出了其 M3.1 Flash 模型，与前代 M3 相比，价格大幅降低，输入 token 单价为每百万 0.15 美元，输出 token 单价为每百万 0.60 美元。虽然 MiniMax 声称在代理任务上成本降低了 70%，但直接的每 token 定价显示下降了 50%。该模型在 DeepSWE v1.1 等基准测试中的表现具有竞争力，得分为 73.7%，但略微落后于 DeepSeek V4.1 Flash。目前，M…
-
DeepSeek V4.1 Flash 1017 首次亮相，在编码和代理任务方面取得重大进展
DeepSeek 于 2026 年 10 月 17 日发布了其开源大型语言模型 DeepSeek V4.1 Flash 1017 的更新版本。此次迭代在各种基准测试中都有显著改进，尤其是在编码和基于代理的任务方面。该模型现在拥有 1M token 的上下文窗口，并根据 MIT 许可证提供，允许商业使用。关键的进步包括在 DeepSWE v1.1 和 Terminal-Bench 4.0 等编码基准测试中性能增强，超越了 Anthrop…
-
MiniMax 发布 428B M3.1 Flash MoE 模型，支持 1M 上下文
MiniMax 发布了其 M3.1 Flash 模型，这是一个拥有 428B 参数的混合专家（MoE）模型，上下文窗口为 100 万 token。该模型可通过 MiniMax API 访问，专为智能体任务、编码和视觉推理而设计。MiniMax 报告称，在智能体基准测试中表现强劲，在 Automation-Bench v1.0.6 等任务上超越了 GPT 5.6 "Sol" 和 Opus 5 等模型。然而，其编码性能表现不一，部分基准测…
-
DeepSeek 发布 V4.1-Flash-1017，提升代理性能并降低成本 · 追踪 9 个来源
DeepSeek 发布了 V4.1-Flash-1017，这是一个更新的开放权重模型，为代理任务提供了改进的性能和成本效益。与前代模型相比，这个新的检查点在 11 项报告的基准测试中得分更高，任务完成速度更快，输出更短。DeepSeek 还推出了新的 Search 和 Fetch API，以具有竞争力的价格为开发人员提供集成的网络搜索功能。
-
AI基准分数缺乏清晰度；提出新清单
一项新的AI基准分数评估清单已被提出，突显了衡量AI模型计算机使用能力时存在的不一致性和潜在操纵。作者指出，像Claude Opus 5.5和GPT-6 Astra等领先模型在OSWorld 2.0等基准测试上报告的分数难以调和，有些分数在未解释的情况下发生变化。该清单旨在明确正在使用哪个特定基准测试，因为OSWorld 2.0、Agents' Last Exam和AutomationBench等不同基准测试会测试不同的技能，例如GU…
-
OpenAI 发布 GPT-6 Astra，声称在各项基准测试中达到新的最先进水平 · 跟踪 6 个来源
OpenAI 发布了其最新的最先进模型 GPT-6 Astra。该公司声称 Astra 在 FrontierMath Tier 4、ARC-AGI 3 和 TerminalBench-4.0 等一系列基准测试中表现出色，在科学发现和专业任务方面取得了显著进展。OpenAI 还强调了 Astra 在用户意图对齐和理解方面的改进，将其定位为世界上最智能、最对齐且能够执行计算机任务的模型。
-
DeepSeek V4 多模态模型权重已发布供检查
DeepSeek 发布了其 V4 多模态模型的权重和参考代码，允许研究人员检查其视觉处理能力。与简单的图像到文本的附加功能不同，V4 将视觉 token 直接集成到其现有架构中，使其能够参与注意力机制、专家混合（MoE）路由和代理推理。该模型采用 Vision Transformer (ViT) 进行初始编码，然后使用 Aligner 将视觉特征压缩并映射到语言模型的空间中。V4 内的专用机制处理视觉 token，包括修改后的注意力规…
-
Qwen3.8-27B开源模型凭借先进的智能体能力登顶排行榜
阿里巴巴的Qwen团队已开源Qwen3.8-27B，这是一个拥有270亿参数的模型，在包括SWE Bench Pro和OSWorld在内的多个基准测试中取得了顶级排名。该模型在智能体能力方面展现出显著的进步，例如规划和多步任务完成，其表现优于更大的模型甚至云端旗舰模型。其架构融合了线性和全注意力层的创新组合，以高效处理长上下文，并为用户提供可控的“思考”模式。该模型的跨模态训练使其能够有效地在桌面、浏览器和移动设备等各种界面上运行。
-
OpenAI 的 GPT-5.6 Sol 在代码生成方面表现出色，但在数据库填充方面遇到困难
OpenAI 发布了 GPT-5.6 Sol，该模型在编码任务和令牌效率方面取得了显著进步，在基准测试中优于 Claude Opus 4.8 等先前模型。然而，该模型在填充数据库方面遇到困难，这项任务需要对给定模式的特定知识，而这些知识在其通用训练数据中并不存在。这一限制成为瓶颈，因为由于模型无法了解或创建必要的父行，其生成的代码在与真实数据库约束交互时经常失败。
-
AI Agents Last Exam 排行榜将于2月前达到饱和
Agents Last Exam 排行榜已接近饱和，目前的基准测试表明，它最迟将于明年2月达到完全饱和。该排行榜跟踪AI代理在各种任务上的表现，衡量通过率（100%得分的任务比例）和所有任务的平均得分。数据显示代理能力正在快速发展，导致了预期的饱和点。
-
GPT 5.6-Sol 在代理任务上优于 Claude Fable-5，但仍存疑问
据报道，一款新模型 GPT 5.6-Sol 在长时序代理任务上超越了 Anthropic 的 Claude Fable-5，在 Agents' Last Exam 上的得分分别为 53.6 和 40.5。尽管在性能和价格上占有优势，但一些评论者认为 Fable-5 在架构推理和规划方面可能仍然表现出色。OpenAI 未发布 GPT 5.6-Sol 的长上下文回忆数字的决定也引发了疑问，特别是考虑到 Grok 和 Google 等其他主…
-
OpenAI 发布 GPT-5.6 系列，包含 Sol、Terra 和 Luna
OpenAI 推出了其新的 GPT-5.6 模型系列，包含三个层级：Sol（旗舰）、Terra（平衡）和 Luna（最快且最便宜）。这些模型提供不同的价格性能点，Sol 在编码和代理工作等复杂任务中最具能力，而 Terra 和 Luna 为通用用途提供了更具成本效益的选择。此次发布还包括新的 API 功能，如程序化工具调用和多代理功能，旨在提高各种应用的效率和可负担性。
-
Meta AI 聘请 AI 安全专家 Jianfeng Gao 领导 Superintelligence Labs
Meta AI 聘请了 Yann LeCun 博士的前同事 Jianfeng Gao 博士来领导其 Superintelligence Labs。Gao 博士此前是加州大学伯克利分校的教授，也是 Virtue AI 的联合创始人，他将专注于 Meta 的 AI 安全和保障工作。他认为，能够提供经济价值的 AI 代理代表了 AI 发展的下一个前沿领域，并引用了一个新的基准测试 Agents' Last Exam，该测试旨在评估 AI 代…
-
新基准显示 GPT 5.5 在真实世界任务中超越 Claude Fable 5
一项由加州大学伯克利分校等机构研究人员开发的新基准测试“智能体最后的考试”（ALE）揭示了 AI 智能体性能方面令人惊讶的结果。在最具挑战性的任务中，Anthropic 的 Claude Fable 5 和 OpenAI 的 GPT 5.5 等领先模型得分均为零，表明在处理复杂、真实世界任务方面存在显著局限性。在稍具挑战性的任务上进行测试时，GPT 5.5 的表现优于 Claude Fable 5，这与之前的基准测试结果有所不同。
-
GPT-5.5 在新的 AI Agent 基准测试中超越 Claude Fable 5
据报道，OpenAI 的 GPT-5.5 在新的 Agents' Last Exam (ALE) 基准测试中超越了 Anthropic 的 Claude Fable 5。该基准测试由加州大学伯克利分校开发，评估 AI Agent 自主执行复杂、多步骤任务的能力。在具有挑战性的测试中，GPT-5.5 的得分是 94%，而 Claude Fable 5 的得分为 86%。
-
GPT-5.5 在新的 AI Agent 基准测试中超越 Claude Fable 5
OpenAI 的 GPT-5.5 在一个名为 Agents Last Exam (ALE) 的新 AI 基准测试中，性能优于 Anthropic 的 Claude Fable 5。该基准测试由伯克利 RDI 联合 300 多名专家开发，用于测试自主 AI Agent。这一结果令人惊讶，因为 Claude Fable 5 此前被认为是此类任务的领先模型。