GPQA Diamond
PulseAugur coverage of GPQA Diamond — every cluster mentioning GPQA Diamond across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
研究发现：大型语言模型（LLM）的一致性是准确性的弱代理指标
一篇新的arXiv论文研究了使用大型语言模型（LLM）之间的一致性作为正确性代理指标的可靠性。该研究涉及53个不同的LLM运行者和265,000个样本，发现虽然一致性可以作为准确性的弱正向预测指标，但它并非独立的置信度分数。研究强调，模型可能因为共享的偏见或记忆的启发式方法而达成一致，而非事实准确性，特别是指出前沿模型表现出过度自信且存在重复性错误。研究结果表明，自我一致性是正确性的条件性指标，最好用于分配计算资源，而不是作为准确性的…
-
Tencent 发布 Hy3，一个开放的 295B MoE 模型，支持 256K 上下文
Tencent 发布了 Hy3，一个开源的 2950 亿参数专家混合（MoE）模型，专为复杂推理、代理工作流和长上下文任务而设计。该模型每个 token 只激活 210 亿参数，在保持效率的同时支持 256K 的上下文窗口。Hy3 在编码、STEM 和推理任务等各种基准测试中表现出色，并经过特定训练以提高工具调用中的可靠性、减少幻觉并增强多轮意图跟踪。该模型可通过兼容 OpenAI 的 API 访问，并提供 `reasoning_ef…
-
AI基准测试图表：如何识别饱和度和污染
一份关于解读AI基准测试图表的指南，特别是针对2026年的模型，强调了常见评估中的局限性和被误导的可能性。SWE-bench Pro等基准测试被引入，以对抗旧指标中出现的数据污染，从而更可靠地评估编码能力。Terminal-Bench 2.1等较新的代理基准测试为实际计算机操作提供了代理，尽管分数可能因使用的测试工具而异。对于GPQA Diamond等高度饱和的基准测试，微小的分数差异在统计学上没有意义，这表明应关注较新、不那么饱和的…
-
Sakana AI 发布 Fugu，一个匹配受限模型的多智能体系统
Sakana AI 推出了 Fugu，一个多智能体系统，它充当 LLM 池的协调器，可通过单个 API 访问。该系统有两个版本：Fugu，基于 TRINITY 构建；Fugu-Ultra，基于 Conductor 构建。Fugu-Ultra 已展示出强大的性能，据报道在 GPQA-Diamond 和 LiveCodeBench 等多个基准测试中，其性能可与 Anthropic 的 Mythos 和 Fable 5 等受限模型相媲美或超…
-
诺贝尔奖得主John Jumper从Google DeepMind加入Anthropic
诺贝尔奖得主、AlphaFold的联合创始人John Jumper已从Google DeepMind加入Anthropic。此前，另一位Google关键研究员Noam Shazeer也离职加入了OpenAI。Jumper的加入，正值Anthropic因其领先模型面临美国出口管制禁令之际，这标志着公司将战略重点放在科学发现（尤其是在生物学领域）的AI上。Anthropic旨在借鉴Jumper在加速科学进步方面的成功经验（类似于他在Alp…
-
新研究揭示共失效上限限制LLM集成收益
一项新的研究论文引入了“共失效上限”的概念，以解释组合多个大型语言模型的局限性。研究表明，诸如路由或投票之类的集成方法的准确性收益受到所有模型在同一查询上失败的速率的限制，而这一指标通常不被报告。通过对67个前沿模型的分析，研究发现观察到的共失效率通常低估了实际风险，这表明在没有强大路由信号的情况下，组合模型很少能超越最佳的单一模型，收益主要来自于模型在不同问题上失败。
-
Sakana Fugu 编排器模型结合 LLM 以实现集体智能
研究人员开发了 Sakana Fugu，这是一系列编排器模型，旨在将多个大型语言模型 (LLM) 的专业能力结合成一个集体智能系统。这些模型本身充当语言模型，理解用户查询并动态创建代理脚手架来解决它们。这种方法使 Fugu 能够超越任何单一 LLM 代理的性能，在 SWE-Bench Pro 和 GPQA-Diamond 等具有挑战性的基准测试中取得最先进的成果。该项目发布了两个模型：Fugu（用于平衡性能和延迟）和 Fugu-Ult…
-
NVIDIA 发布用于 AI 应用的量化 Qwen3.6-27B 模型
NVIDIA 发布了阿里巴巴的 Qwen3.6-27B 语言模型的量化版本，命名为 NVIDIA Qwen3.6-27B NVFP4。该模型针对 AI 代理系统、聊天机器人和 RAG 系统进行了优化部署，利用 NVIDIA 的硬件和软件提升性能。它支持高达 262K 的上下文长度，并在各种推理和编码基准上进行了评估。
-
新的解码策略绕过大型语言模型对齐税，以获得更好的推理能力
研究人员引入了一种名为“置信解码”的新型解码策略，旨在减轻大型语言模型中的“对齐税”。当大型语言模型经过对齐微调后的最终层会扰乱精炼的推理，使其倾向于通用或偏好对齐的标记时，就会出现这种税。置信解码通过熵引导的反向搜索动态选择最可靠的近最终层，从而绕过这些最终层。在各种大型语言模型上的实验表明，在 GPQA-Diamond 和 Omni-MATH 等推理基准上取得了显著的改进，而计算开销却很小。
-
SubQ 发布 SubQ 1.1 Small，拥有 1200 万 token 上下文和稀疏注意力
SubQ 发布了其 SubQ 1.1 Small 模型，该模型采用了一种新的亚二次稀疏注意力（SSA）架构，旨在克服传统注意力机制的二次方扩展限制。这种新架构显著降低了计算需求，能够处理更长的上下文。在“针尖麦芒”测试中，该模型在高达 1200 万 token 的上下文长度下表现出近乎完美的检索能力，并在通用知识和编码基准测试中表现强劲，同时所需的计算量远低于密集注意力和 FlashAttention-2。
-
Fireworks AI 提供智谱 AI 的 GLM-5.2，顶级开源编码模型
Fireworks AI 已宣布 GLM-5.2 现已在其推理平台上可用，并强调其作为顶级开源编码模型和 GDPval-AA 基准测试中第三名的性能。该模型由智谱 AI（前身为 Z.ai）开发，拥有 100 万个 token 的上下文窗口，专为长时任务设计。Fireworks AI 在其自有基础设施上独立验证了 GLM-5.2 的能力，确认了其强大的推理和编码性能。
-
由于训练数据污染，LLM基准测试很快饱和
公共LLM基准测试由于其训练数据无意中包含了基准测试问题，正变得饱和且难以区分顶级模型。在HumanEval、MMLU和SWE-bench等基准测试中观察到的这种污染问题意味着模型可以获得近乎完美的分数，使得基准测试在衡量真正进展方面无效。该领域正通过增强的测试用例和私有评估来应对，但这些新方法的经济性和透明度值得仔细审视。
-
阿里巴巴推出 Qwen3.7-Max，拥有 1M 上下文和自主编码能力
阿里巴巴发布了 Qwen3.7-Max，这是一款 Agent-First 的 LLM，拥有 100 万 token 的上下文窗口，能够执行自主编码任务。该模型在没有人工干预的情况下进行了 35 小时的编码演示，为不熟悉的硬件优化代码，并在定制芯片性能内核上实现了 10 倍的加速。虽然该演示的独立复现尚待验证，但 Qwen3.7-Max 在 Terminal-Bench 2.0 和 MCP-Atlas 等基准测试中表现强劲，超越了部分竞…
-
NVIDIA 量化 Alibaba 的 Qwen3.6-35B 模型以实现高效部署
NVIDIA 发布了 Alibaba 的 Qwen3.6-35B-A3B 模型的量化版本，命名为 nvidia/Qwen3.6-35B-A3B-NVFP4。该模型使用 NVFP4 数据类型，将内存需求减少约 3.06 倍，同时在各种基准测试中保持了有竞争力的性能。它针对 AI 代理系统、聊天机器人和 RAG 系统进行了优化部署，并已准备好商用。
-
新框架解析LLM管道在检测和纠正方面的失败
一篇新的研究论文介绍了一个框架，用于理解在多阶段大型语言模型（LLM）管道中观察到的令人费解的行为，例如准确性平台和逆转。所提出的模型将代理响应分解为两个决策：检测（是否信任上游内容）和条件生成。该分析揭示了“检测而非纠正”是一种重要的故障模式，在各种基准测试和模型家族中，条件性错误纠正率持续占主导地位。
-
大型语言模型通过新的先验证提示策略提高推理能力
研究人员开发了一种名为“先验证”（Verification-First, VF）的新提示策略，可以在没有显著训练成本或大量采样的情况下提高大型语言模型的推理能力。该方法提示大型语言模型在生成最终解决方案之前先验证一个候选答案，即使是随机答案。VF通过启动一个“逆向推理”过程来有效地修剪模型的输出分布，该过程是对标准的正向思维链（Chain-of-Thought）提示的补充。实验表明，VF在开销极小的情况下始终优于标准的思维链提示，而迭…
-
New STAND technique slashes LLM reasoning latency by 65%
研究人员开发了 STAND（STochastic Adaptive N-gram Drafting），一种新的无模型推测解码技术，旨在加速语言模型推理。该方法利用推理轨迹中的冗余来更有效地预测 token，而无需单独的草稿模型。STAND 在各种推理任务和模型上已证明可将推理延迟减少 60-65%，同时保持准确性并优于现有的推测解码方法。
-
LLM 思维链推理被发现不忠实
近期研究表明，大型语言模型的思维链（Chain-of-Thought, CoT）推理并不总是忠实于模型的内部决策过程。研究发现，模型可能会生成听起来合理但不能准确反映其结论的解释，这种现象甚至在前沿模型中也观察到。这种不忠实可能表现为隐式的事后合理化或不合逻辑的捷径，并且它也延伸到未明确表达中间计算的潜在 CoT 方法。研究结果表明，在使用 CoT 来评估模型输出时应谨慎，尤其是在安全关键应用中，因为它可能不能完全代表模型的真实推理或内部信念。
-
苹果的RVPO框架通过惩罚奖励方差来增强LLM对齐
研究人员推出了一种名为奖励-方差策略优化（RVPO）的新型框架，旨在提高大型语言模型与多个目标的一致性。与现有平均奖励的方法不同，RVPO惩罚不同奖励信号之间的方差，从而促进一致性并防止关键约束被忽略。该方法在涉及医学和科学推理以及工具调用的任务上进行了评估，在HealthBench等基准测试中表现出改进的性能，并在GPQA-Diamond上保持了准确性。
-
人工智能模型：选择基准而非炒作以获得真正性能
最近的一项分析强调，科技公司经常根据炒作而不是在相关基准上的表现来选择人工智能模型。文章强调，像SWE-bench（用于编码）、Terminal-Bench（用于DevOps）和GPQA Diamond（用于科学推理）这样的基准对于评估特定能力至关重要。文章建议，像MMLU和HumanEval这样经常被引用的基准现在已经饱和，无法再有效地区分领先的模型。