GPQA: A Graduate-Level Google-Proof Q&A Benchmark
PulseAugur coverage of GPQA: A Graduate-Level Google-Proof Q&A Benchmark — every cluster mentioning GPQA: A Graduate-Level Google-Proof Q&A Benchmark across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
新的“表示作为评判者”方法使用小型模型进行评估
研究人员提出了一种新的语言模型评估方法，称为表示作为评判者（Representation-as-a-Judge），该方法利用小型模型的内部表示，而不是其生成输出。这种方法基于语义容量不对称性假说（Semantic Capacity Asymmetry Hypothesis），该假说认为评估所需的语义容量少于生成。提出的框架 INSPECTOR 利用了小型模型的这些内部特征来预测评估分数，为传统的 LLM 作为评判者方法提供了一种更有效…
-
Qwen 3.6 量化模型显示智能体性能下降，知识回忆保持稳定
一个大学 HPC 集群对 Qwen 3.6 量化模型进行了基准测试，结果显示较低精度的版本在 Terminal-Bench 2 评估的智能体性能方面显著下降。虽然通过 GPQA Diamond 评估的知识回忆能力受量化影响很小，但与 Qwen 官方的 FP8 分数相比，研究观察到了一个显著的下降，这可能归因于不同的超时设置。研究人员还在对 GLM-5.2 量化模型进行基准测试，尽管这一过程被证明非常缓慢。
-
新方法惩罚冗余，使大语言模型推理更高效
研究人员开发了一种新颖的方法，通过惩罚其思维链（CoT）追踪中的内部和外部冗余来减少大型推理模型（LRM）的“过度思考”。这种双重惩罚强化学习框架分别解决了第一个正确答案之前的信��停滞和之后的冗余延续问题。在GSM8K和MATH500等基准测试上的实验表明，推理长度显著缩短，在1.5B模型上最多可减少41.3%，同时保持了具有竞争力的准确性并提高了整体效率。该方法还显示出对GPQA和LiveCodeBench等域外任务的可迁移性，为…
-
新的“LearnStop”方法优化推理模型停止点
研究人员开发了一种名为LearnStop的新方法，用于优化推理语言模型在处理某个实例时应何时停止。该技术分析答案置信度、熵和稳定性等多个特征来预测正确性，旨在在固定的计算预算下提高性能。LearnStop在自由形式的数学任务上显示出特别的好处，优于简单的标量停止规则，但其有效性取决于任务，在多项选择题或非常困难的问题上，更简单的方法具有竞争力。
-
新研究挑战LLM的同策略自蒸馏，提出改进方法 · 跟踪10个来源
近期研究论文探讨了同策略自蒸馏（OPSD）在训练大型语言模型（LLMs）方面的局限性和潜在改进。研究表明，标准的OPSD可能导致死记硬背捷径并阻碍泛化能力，尤其是在长链推理任务中。Purified OPSD和DemoPSD等新框架旨在通过优化监督信号来解决这些问题，以防止过拟合并保留模型的推理能力。其他研究强调，虽然OPSD可以加速专业化，但它可能不足以支持持续学习，并且与其他强化学习方法相比，它可能表现出更强的遗忘效应。
-
智谱AI的GLM-5.2模型已部署在无服务器GPU上
智谱AI发布了GLM-5.2，一个拥有7000亿参数的混合专家模型（MoE），在复杂推理和软件工程任务方面表现出色，据报道在某些基准测试中能媲美甚至超越Claude 3.5 Sonnet和GPT-4o等专有模型。由于其庞大的权重和上下文窗口，部署这个大型模型需要一个8x NVIDIA H200 GPU集群，这带来了显著的基础设施挑战。文章详细介绍了在无服务器GPU平台Modal上部署GLM-5.2的案例研究，强调了FP8量化在内存效率…
-
新的 RAD 方法在不进行文本分析的情况下控制 MoE 语言模型的推理
研究人员开发了一种名为 RAD（路由一致性解码）的新方法，用于控制稀疏专家混合（MoE）语言模型的推理。该技术利用 MoE 模型的内部路由状态来指导模型的响应，而不是依赖输出文本。RAD 在各种数据集（包括数学和代码生成任务）上的表现与传统方法相当，并为无法进行精确字符串匹配的任务提供了一种替代方法。
-
新的SIGMA框架通过多代理知识集成提升AI数学推理能力
研究人员开发了SIGMA，一个旨在提高AI代理数学推理能力的新框架。SIGMA采用多代理系统，其中专业代理独立进行推理、执行定向搜索并通过协调者合成信息。这种方法通过让每个代理生成假设性段落来优化检索，从而实现上下文敏感且高效的知识集成。SIGMA在MATH500、AIME和GPQA等具有挑战性的基准测试中表现出色，比现有系统提高了7.4%的绝对性能。
-
Fireworks AI 发布 GLM-5.2，拥有 100 万上下文窗口，针对编码进行了优化
Fireworks AI 推出了 GLM-5.2，这是一款拥有 100 万 token 上下文窗口的新前沿模型，针对编码任务进行了优化。该模型已在 SWE-bench 和 GPQA 等基准上进行了独立验证。Fireworks AI 强调其作为端到端推理提供商的角色，区别于仅将调用转发给其他 API 的路由器，提供生产级延迟和零数据保留。
-
新研究探索极端LLM压缩技术
两篇新研究论文提出了压缩大型语言模型（LLM）的新颖方法，以减小其内存占用并提高效率。第一篇论文《LLM Compression by Block Removal with Constrained Binary Optimization》将LLM压缩构建为一个二元优化问题，在Llama-3.3-70B-Instruct的MMLU基准测试上取得了显著的提升。第二篇论文《UltraSketchLLM》引入了一种使用数据草图的低于1比特的压…
-
新的采样方法在不更新参数的情况下提升了大型语言模型的推理能力
研究人员开发了一种名为熵引导功率采样（EGPS）的新采样方法，以提高基础语言模型的推理能力。该方法通过关注序列内的高熵区域来解决传统Metropolis-Hastings采样器的低效问题，从而实现更快、更有效的采样。EGPS在MATH500、HumanEval和GPQA等基准测试中表现强劲，与现有技术相比实现了显著的加速。
-
ParaBridge 方法改进了语音模型的副语言理解能力
研究人员开发了 ParaBridge，一种新颖的 on-policy 自蒸馏方法，旨在提高语音语言模型将副语言线索纳入对话的能力。该技术训练模型更好地利用非词汇信息，如语气或背景噪音，以生成更恰当的响应。ParaBridge 在 VoxSafeBench 和 EchoMind 等基准测试中显著提高了性能，同时保持了通用的语言能力。
-
Nvidia 详解 Nemotron LLM 训练的任务种子合成数据
Nvidia 详细介绍了一种用于改进大型语言模型训练的合成问答数据生成新方法。这种任务种子方法以现有公共数据集为基础，创建具有明确信息需求和解释的新颖结构化示例。当应用于 Nemotron-3 Nano 模型时，该技术在 MMLU-Pro、编码任务、常识理解和 GPQA 等基准测试中提升了性能，而数学能力保持稳定。
-
新的PETS框架优化AI测试时自洽性
研究人员开发了PETS，一个用于优化AI模型测试时自洽性的新框架。该方法旨在通过有效分配随机推理轨迹的资源来提高模型性能。PETS引入了“自洽率”以理论上支持样本高效分配，并为离线和在线设置提供了算法，在实验中优于均匀分配。
-
AI基准测试因过度优化和污染而被批评为无用
作者认为，由于多种因素，当前的AI模型基准测试正变得越来越无用。他们认为模型正在针对这些特定测试进行过度优化，导致基准测试性能与实际效用之间脱节。许多基准测试已经饱和、被污染，或者公开可用时间太长，以至于模型可以简单地记住答案，而不是展示真正的推理能力。此外，取得创纪录分数通常需要大量的脚手架和提示调整，这在实际应用中是无法复制的，导致在实际工作流程中使用时性能显著下降。作者总结说，激励机制偏向于营销胜利，而不是模型灵活性和集成方面的真正改进。
-
新的双层方法利用文本反馈增强LLM学习
研究人员开发了一种新颖的双层方法，用于带有文本反馈的强化学习，旨在提高LLM的样本效率。这种新方法称为双层自然语言Actor-Critic (Bi-NAC)，它联合训练一个Critic来生成增强Actor模型性能的反馈。在MATH-500和GPQA等基准测试中，Bi-NAC与现有的RL和固定Critic基线相比，在样本和参数效率方面表现更优。
-
作者警告：AI基准测试无法衡量真实世界的可靠性
作者认为，当前的AI基准测试具有误导性，因为它们未能衡量诸如事实准确性和生成貌似合理但错误信息的倾向等关键方面。尽管在MMLU等基准测试中得分很高，模型仍然可以生成虚假内容，这在一个多智能体工作流中得到了证明，在该工作流中，一个生成模型虚构了一段引语，而其事实核查的对应模型未能检测到它。模型发布的快速步伐以及排行榜上分数的趋同加剧了基准测试表现与真实世界可靠性之间的脱节，使得部署者难以理解在他们特定环境中‘更好’的真正含义。
-
GIM基准测试在整合认知任务上评估LLM
研究人员推出了Grounded Integration Measure (GIM)，这是一个旨在通过整合多个认知域来评估大型语言模型的新基准。GIM包含820个原创问题，需要对可访问的知识进行各种认知操作的协调，旨在评估基于现实任务的推理，而不是纯粹的记忆或抽象推理。该基准包括一个公共-私有划分，用于污染诊断，并利用在28个模型超过200,000个提示-响应对上校准的IRT模型来生成强大的能力估计和全面的排行榜。
-
DataMaster框架自动化机器学习数据工程，以提高模型性能
研究人员开发了DataMaster，一个旨在自动化机器学习数据工程过程的新型框架。该系统旨在通过优化数据选择、组成和转换来提高机器学习模型性能，而不是改变学习算法本身。DataMaster集成了树状搜索、共享数据池和累积记忆，以有效地探索数据领域并从先前的尝试中学习，最终提升下游模型的成果。
-
FocuSFT通过双层优化提升LLM长上下文理解能力
研究人员开发了FocuSFT，一个新颖的双层优化框架，旨在改进大型语言模型处理长上下文的方式。该方法解决了“注意力稀释”问题，即模型在微调过程中倾向于关注特权标记而非语义相关的标记。通过使用参数化记忆来集中注意力于关键内容，FocuSFT显著提高了在BABILong和RULER等长上下文基准测试上的性能，并在GPQA的代理工具使用方面也取得了进展。