ARC-AGI 3 基准测试因故意阻碍 AI 推理代理在动作之间保持上下文而被批评。这种设计选择有效地让模型忘记之前的步骤，导致分数人为降低。当 OpenAI 的代理被允许保持上下文时，它们的性能几乎翻了三倍，同时使用的 token 更少，这表明该基准测试并非对通用智能的诚实衡量。 AI
影响 引发了对当前 AGI 基准测试有效性的质疑，并强调了上下文维护在 AI 推理中的重要性。
排序理由 用户对 AI 基准测试的批评。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<table> <tr><td> <a href="https://www.reddit.com/r/singularity/comments/1vafut9/arcagi_3_is_not_an_honest_measure_of_agi/"> <img alt="ARC-AGI 3 is not an honest measure of AGI" src="https://preview.redd.it/47mj11kls9gh1.jpeg?width=640&crop=smart&auto=webp&s=00da728530…