ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems
PulseAugur coverage of ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems — every cluster mentioning ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
可验证的工件会降低 LLM 性能,但能实现更快、更高效的生成
一篇新的研究论文探讨了从生成模型(如 LLM)要求可验证工件所涉及的权衡。研究发现,要求可执行验证会显著降低 ARC-AGI-2 评估集上的成功率,性能从 77% 下降到 57%。然而,研究还表明,对现有程序候选进行简短的进化搜索可以在不增加模型成本的情况下,将性能提高 9 个以上任务,并且可验证的工件允许提前终止生成过程。
-
新的STRM模型简化了递归,提升了AI推理性能
研究人员推出STRM,这是一种简化的递归模型,在现有的分层递归模型(HRM)和微型递归模型(TRM)的基础上进行了改进。STRM具有单一状态和统一更新机制,在不牺牲泛化能力的情况下提高了训练速度和性能。在Sudoku-Extreme、PPBench和Maze-Hard等基准测试中,STRM在Sudoku-Extreme和PPBench上的性能优于TRM。该模型在ARC-AGI-1和ARC-AGI-2推理挑战上也取得了进步。
-
Google 在 AI 模型领域领先,Anthropic 在 AI 智能体领域领先:Polymarket 预测显示分化
Polymarket 上的交易者正在押注不同的公司在 AI 模型和 AI 智能体方面取得领先,这表明行业存在结构性分化。到 2026 年底,Google 因其 Gemini 3 系列、激进的定价以及集成到 Workspace 中,被看好在 AI 模型竞赛中获胜。相反,Anthropic 在 AI 智能体市场处于领先地位,该市场评估端到端任务完成情况和可靠性,这表明“控制系统”(围绕模型的系统)对于智能体的性能而言,正变得与模型本身一样重要。
-
开放模型通过定制数据和推理在 ARC-AGI-2 上展现出改进的推理能力
研究人员调查了不同训练和校准数据对三个开源AI模型在ARC-AGI-2推理基准测试中的性能影响。对于NVARC Qwen3-4B模型,开发了一个包含12,000条可执行规则和95,993个任务的语料库,通过在真实任务记录上进行微调,将其得分从28.96提高到33.06。Qwen3.8-27B推理模型的得分通过增强的推理过程(包括“思考帽”和程序检查)从26.81提高到44.03。Qwen3.8-Flash-Next混合专家模型通过优化…
-
Gemini 4 Argon、Claude Opus 5.5 和 GPT-5.3 Codex 引领最新 AI 模型对比
2026年2月,AI实验室发布了包括Gemini 3.1 Pro、Claude Opus 4.6和GPT-5.3 Codex在内的多款先进模型,每款模型在软件开发的各个领域都展现出优势。Gemini 3.1 Pro在推理基准测试和算法编码方面表现出色,而Claude Opus 4.6在实际编码任务中处于领先地位,并具备Agent Teams功能。GPT-5.3 Codex在终端工作流方面表现更优,并提供更快的推理速度。2026年2月的…
-
LLM评估方法改编心理测量学理论,以实现更公平的基准测试比较
研究人员开发了一种新的评估大型语言模型(LLM)的方法,该方法改编自心理测量学中的项目反应理论(IRT)。这种方法将每个基准测试视为一个“项目”,并根据LLM在各种基准测试中的表现来模拟其“能力”,同时考虑了基准测试的难度和区分度。这种基于IRT的方法可以实现模型之间更准确的比较,即使它们在不同的基准测试集上进行了评估,从而解决了简单平均法的局限性。
-
FreeEvolve系统学会自动进化AI代理
研究人员开发了FreeEvolve,一个新颖的系统,可以自动设计语言模型的代理进化器。与依赖固定、手工设计的搜索循环的现有方法不同,FreeEvolve的进化器学会了关于测试、证据收集和候选者追求的决策。这种学习到的进化技能通过元进化得到进一步提高,其中候选技能根据它们产生的代理的性能进行评分。FreeEvolve在tau3-bench和ARC-AGI-2等基准测试中表现出显著的改进,优于手工设计的进化器,并显示出跨不同环境的可迁移学习。
-
InfiLoop架构将Transformer推理扩展到数万次迭代
研究人员开发了InfiLoop,一种用于Transformer的新型循环原生残差连接,旨在提高复杂推理任务的性能。这种新架构通过学习选择性地保留过去的计算并管理新的更新,解决了传统循环Transformer在迭代次数增加时出现的性能下降问题。InfiLoop在Sudoku-Extreme等任务上取得了优异的成绩,准确率达到97.9%,并且即使在超过20,000次测试时间迭代后仍持续改进,凸显了其在深度上的有效扩展能力。
-
四款新的前沿人工智能模型在基准测试、成本和访问方面进行比较
四款新的前沿人工智能模型——Claude Fable 5.1、GPT-6 Astra、GPT-6.1 Sol 和 Gemini 4 Argon——在一个月内发布,各有独特的优势和定价结构。虽然基准测试分数显示出一些重叠,但每项任务的成本、缓存能力和访问策略的差异显著影响了它们对各种应用的适用性。OpenAI 因内部测试失败取消了 GPT-6.1 Astra,将 GPT-6 Astra 作为其当前顶级模型。Gemini 4 Argon …
-
Gemini 3.1 Pro 与 Claude Opus 4.6:基准测试 vs. 实际使用
开发者发现,AI模型的基准测试分数并不总是能转化为实际性能,这在选择 Google 的 Gemini 3.1 Pro 和 Anthropic 的 Claude Opus 4.6 等选项时会造成困惑。虽然 Gemini 3.1 Pro 在 ARC-AGI-2 和 GPQA Diamond 等推理基准测试中表现出显著改进,并已修复输出截断问题,但据报道其在复杂的多步代理任务中的性能有所下降。相反,Claude Opus 4.6 尽管在一些…
-
新的“循环流”方法可提升 AI 在复杂任务上的推理能力
研究人员推出了一种新颖的循环神经网络训练方法“循环流”,通过在推理过程中允许更多的计算更新来增强其解决复杂问题的能力。该方法利用局部去噪目标和时间关联来有效训练循环状态,即使在梯度反向传播有限的情况下也能实现。该技术将推理表述为概率流速度的积分,能够进行多次预测并提高在推理基准测试上的性能,包括在 ARC-AGI-1 和 ARC-AGI-2 上取得最先进的成果。
-
Meta^n 为 LLM 代理引入递归自我改进
研究人员引入了 Meta$^n$,这是一种用于 LLM 代理的递归自我改进的新颖方法,可在不破坏系统稳定的情况下增强推理深度。与改进答案或编辑过程的先前方法不同,Meta$^n$ 保持核心元操作固定,而是对输入进行递归。该方法将固定操作 $\Omega$ 繰り返し应用于其自身的输出,使每个后续层都能从更高的视角进行推理。Meta$^n$ 在八个基准家族中表现出卓越的性能,尤其是在 ARC-AGI-2 基准测试中,其表现优于其他自我改进…
-
DeepSeek V4 Flash 0731 在 ARC-AGI 基准测试中取得高分
DeepSeek 发布了其 V4 Flash 0731 模型,该模型具有低、高和最大三种推理设置。该模型在 ARC Prize 基准测试中取得了令人印象深刻的分数,该测试用于评估人工智能系统的抽象推理能力。值得注意的是,在其最大设置下,V4 Flash 0731 在 ARC-AGI-1 上的得分为 89.0%,每次任务成本为 0.02 美元,在更具挑战性的 ARC-AGI-2 上的得分为 61.4%,每次任务成本为 0.04 美元。此…
-
TraceViT模型通过分步监督提升AI视觉抽象推理能力
研究人员推出了一种新颖的循环视觉推理模型TraceViT,旨在提高抽象推理任务的性能。与仅约束最终输出的先前方法不同,TraceViT通过使用语义单调变换链来训练,使其能够遵循变换过程的每一步。这些链是通过将程序化任务实现分解为中间网格状态来生成的,每次迭代都由任务引用和对象工作区进行约束。TraceViT在ARC-AGI-1上达到了67.8%的通过率,在ARC-AGI-2上达到了24.3%,证明了跟踪监督与约束相结合的好处。
-
Thinking Machines 发布 Inkling-Small,性能超越更大模型
Thinking Machines Lab 推出了 Inkling-Small,这是一款新的开源多模态模型,它优先考虑效率而非单纯的规模。尽管比其前身 Inkling 体积小得多,Inkling-Small 在各种编码和推理基准测试中表现出卓越的性能。该模型设计用于更轻松的部署,能够在一台 GPU 上运行,并根据 Apache 2.0 许可证提供。
-
新的 arXiv 论文探讨 LLM 可靠性和多智能体推理
一篇新的 arXiv 论文介绍了 CogniConsole,一个通过在固定模型周围实现结构性脚手架来提高 LLM 可靠性的框架,显著降低了故障率。另外,另一篇 arXiv 论文详细介绍了 ARCANA 多智能体框架,该框架旨在应对抽象推理挑战,并专门针对 ARC-AGI-2 基准。
-
新求解器在ARC-AGI-2基准测试中超越GPT-5.2 Pro和Gemini 3 Pro
一个用于ARC-AGI-2视觉推理基准测试的新求解器在半私有评估集上取得了72.9%的最高分,超越了GPT-5.2 Pro和Gemini 3 Pro等领先的前沿模型。该求解器采用模态驱动的搜索策略,跨文本、图像和代码生成推理候选,并使用整体判断方法在单个提示中比较这些候选。这种方法能有效识别正确的少数派假设,即使主要模态答案不正确。研究还强调,规定性提示和迭代改进会降低假设多样性并损害性能。
-
AI模型在7项能力上的对比:GPT-5.5、Claude Opus 4.8领跑
对八款AI模型在七个能力维度上的对比分析显示,没有一款是全能冠军。GPT-5.5在代理任务和长上下文方面表现出色,而Claude Opus 4.8在编码和通用知识方面领先。Gemini 3.5 Flash提供了强大的代理价值和多模态能力,DeepSeek V4 Pro则在竞技编程和数学方面展现出实力。
-
LLM应对CUDA调试和抽象推理,带来新基准和方法
两篇新研究论文探讨了大型语言模型(LLM)的高级调试和推理技术。第一篇论文介绍了CUDABeaver,这是一个旨在评估基于LLM的CUDA代码调试的基准,强调了修复过程中性能保持的挑战。第二篇论文提出了基于诱导的程序化改进(ABPR),这是一种结合LLM和Prolog进行算法调试的神经符号方法,在ARC-AGI-2等抽象推理任务上展示了显著的改进。
-
Google 的 Gemini 3.5 Flash 在编码和代理任务上超越 3.1 Pro
Google 的 Gemini 3.5 Flash 模型在多项关键基准测试中超越了其前身 Gemini 3.1 Pro,尤其是在编码和代理任务方面。这一新层级相比 3.1 Pro 提供了显著的成本降低 40%,并且输出生成速度大约快四倍。虽然 Gemini 3.5 Flash 在工具使用和代理性能方面表现出色,但 Gemini 3.1 Pro 在纯粹推理和新颖问题解决基准测试中仍保持优势。