PulseAugur
中
实时 20:15:12
实体 Humanity's Last Exam

Humanity's Last Exam

PulseAugur coverage of Humanity's Last Exam — every cluster mentioning Humanity's Last Exam across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
23
90 天内 62
发布 · 30天
0
90 天内 0
论文 · 30天
6
90 天内 17
层级分布 · 90 天
主题
关系
情绪 · 30 天

8 天有情绪数据

最近 · 第 1/4 页 · 共 70 条
  1. TOOL · CL_350527 ·

    新的ODSA框架通过协同的测试时扩展提升LLM准确性

    研究人员推出了一种名为ODSA(协同发现与自聚合)的新型框架,旨在通过智能的测试时扩展来提高语言模型的准确性。ODSA采用一个协调器LLM来指导无状态工作者,利用生成新解决方案或改进现有解决方案等现有扩展方法。这种方法允许协调器分配计算并将结果顺序馈送,确保每个决策都基于先前的行动。该框架在多个模型上的人类最后考试(Humanity's Last Exam)和LiveCodeBench等基准测试中都显示出显著的准确性提升。

  2. TOOL · CL_343926 ·

    MiMo-V2.6-Flash 在 Humanity's Last Exam 上实现高效率和强推理能力

    MiMo-V2.6-Flash 模型在 Humanity's Last Exam 基准测试中取得了 35.1% 的分数。该模型在保持高效率的同时展现了强大的推理能力,每秒可处理 30.3 个 token,每美元可提供 152.6 个智能点。

  3. TOOL · CL_335079 ·

    Hugging Face 排行榜显示顶级 AI 模型使用工具,影响得分

    对 Hugging Face "人类终极考试" (HLE) 排行榜的最新分析显示,大多数表现最佳的模型都在使用外部工具,而排行榜并未明确追踪这一因素。在前 24 行中,有 21 行明确表示使用了工具,另外三行未标记的行也根据其模型卡确认使用了工具。使用工具可显著提高分数,增加 7.8 至 15.1 分,与测试固有的噪声相比,这是一个巨大的优势。第一个明确报告 "未使用工具" 分数的模型排名第 25 位,这凸显了工具增强对性能的影响。

  4. RESEARCH · CL_333211 ·

    LLM基准测试揭示GPQA、SciCode和推理任务的性能

    独立基准测试揭示了几种大型语言模型在各种指标上的性能。Muse Spark Open在GPQA上 đạt 89%,在SciCode上 đạt 58.4%,而Muse Glimmer在GPQA上 đạt 83.5%,在SciCode上 đạt 44.9%。Kimi K3.1 Pro在长上下文推理上表现强劲, đạt 86.3%,在SciCode上 đạt 60.8%。Qwen3.8 Max在GPQA上领先, đạt 92.8%,在长上下…

  5. COMMENTARY · CL_330336 ·

    每个任务的LLM成本差异很大,每token价格具有误导性

    Artificial Analysis 的一项新分析显示,仅通过每token价格来比较大语言模型(LLM)具有误导性。由于努力设置、缓存和促销定价等因素,每个任务的实际成本可能差异很大。例如,Claude Sonnet 5.5 和 GPT-6.1 Sol 的每token价格相同,但 GPT-6.1 Sol 每个任务的成本却便宜近三倍。同样,更高的努力设置会显著增加 Claude Opus 5.5 等模型的成本,有时性能却不成比例地增加。

  6. TOOL · CL_328044 ·

    GLM-5.3 (Low) 在 Humanity's Last Exam 上获得 36.6% 的成绩,显示出成本效益

    GLM-5.3 (Low) 模型在 Humanity's Last Exam 基准测试中取得了 36.6% 的分数。值得注意的是,它在每秒 75.7 个 token 的运行速度下,展现了每美元 10.7 个智能点的成本效益。

  7. RESEARCH · CL_324530 ·

    新的“下注式思考”方法提高了LLM代理的可靠性

    一种名为“下注式思考”(Thinking-in-Bets)的新方法已被开发出来,以提高语言模型代理的可靠性。这种无需训练的技术涉及代理在收到用户反馈之前创建其声明和置信度水平的私有记录。当受到质疑时,代理会利用此记录来维持正确的工作,同时重新评估不确定的点。该方法在八个基准测试中对五个Gemini模型进行了测试,显示虚假反转和不必要的编辑显著减少,尤其是在编码任务中。

  8. SIGNIFICANT · CL_319549 ·

    Moonshot AI 发布 Kimi K3.1 Pro,幻觉减少,成本更低 · 跟踪 2 个来源

    Moonshot AI 发布了 Kimi K3.1 Pro,这是其 Kimi K3 模型的更新版本,通过增强的后期训练,在长程编码、金融和 3D 建模任务方面性能得到提升。新模型在 Moonshot 的内部基准测试中,幻觉率从 23.4% 大幅下降至 8.3%。在保持相同架构和 1M token 上下文窗口的同时,Kimi K3.1 Pro 提供了更低的 API 价格,并预计将于 11 月 4 日发布完整权重,使其成为一个具有竞争力的…

  9. TOOL · CL_316398 ·

    Qwen2.5 Coder Instruct 32B 在独立测试中基准分数揭晓

    对 Qwen2.5 Coder Instruct 32B 模型进行的独立评估已得出具体的基准分数。该模型在 GPQA 上得分 41.7%,在 MMLU-Pro 上得分 63.5%,在 Humanity's Last Exam 上得分 3.5%,在 LiveCodeBench 上得分 29.5%。这些结果并非由模型创建者自行报告,提供了对其能力的不同视角。

  10. TOOL · CL_312601 ·

    新的CHIMERA数据集提升了大模型在科学领域的推理能力

    研究人员开发了CHIMERA,这是一个包含9000个样本的合成数据集,旨在增强大语言模型(LLMs)在各个科学领域的推理能力。该数据集通过提供合成的、长链式思维轨迹、超越数学的广泛领域覆盖以及无需人工标注的自动化评估流程,解决了大模型训练中的挑战。使用CHIMERA微调的Qwen3模型在GPQA-Diamond和AIME等基准测试中表现出竞争力,可与更大的模型相媲美。

  11. RESEARCH · CL_311561 ·

    K2-V2 和 DeepSeek V3.2 基准测试结果公布 · 跟踪到 2 个来源

    独立基准测试揭示了两个大型语言模型的性能指标。K2-V2 (中等) 在 GPQA 上得分 59.8%,在 MMLU-Pro 上得分 76.1%,长上下文推理得分为 28%。DeepSeek V3.2 (推理) 表现出更高的性能,在 GPQA 上得分为 84%,在 MMLU-Pro 上得分为 86.2%,并且在长上下文推理上取得了 73.3% 的显著成绩。

  12. COMMENTARY · CL_310864 ·

    Anthropic联合创始人:AI奇点已至,警告经济颠覆

    Anthropic联合创始人Jack Clark宣布,奇点——人工智能驱动的进步迅速超越人类理解能力的时刻——已经开始。他引用了AI在Humanity's Last Exam和FrontierMath等高级推理基准上的显著改进作为证据。Clark还警告了重大的经济颠覆和就业岗位流失,预测如果AI采用加速,到2030年美国经济可能达到44万亿美元,并敦促全球采取行动,在未来几年内建立AI智能上限。

  13. RESEARCH · CL_308783 ·

    DeepSeek 发布免费编码模型,削弱搜索竞争对手

    DeepSeek 发布了其开源编码模型 V4.1-Flash-1017 的更新版本,据报道,该模型在特定编码基准测试中优于 Claude Opus-5 和 GPT-5.6 Sol。该公司还推出了供 AI 代理免费访问的网页搜索和抓取工具,显著低于竞争对手的定价。虽然 DeepSeek 的模型在编码任务中显示出潜力,但在更广泛的推理基准测试中仍落后于顶级模型,其定价策略对闭源模型提供商构成了挑战。

  14. TOOL · CL_307355 ·

    Molmo 7B-D 基准测试结果表现不一

    Molmo 7B-D 语言模型在多个基准测试上进行了评估,在 GPQA、MMLU-Pro 和 Humanity's Last Exam 上取得了具体分数。该模型在长上下文推理任务上得分为 0%。这些结果是独立测量的,而非模型创建者自我报告。

  15. TOOL · CL_301055 ·

    Eigen-Agent框架通过新颖的检索和协作提升LLM科学推理能力

    研究人员开发了Eigen-Agent,一个旨在增强大型语言模型科学推理能力的新颖框架。该系统通过基于监控器的检索模块以最小的干扰整合知识,并采用分层解决方案精炼(HSR)和质量感知迭代推理(QAIR)来实现智能体之间的结构化协作。Eigen-Agent在Humanity's Last Exam Bio/Chem Gold基准测试中达到了48.3%的准确率,优于现有的智能体基线和领先的LLM,同时显著减少了令牌使用量和智能体步骤。

  16. TOOL · CL_300160 ·

    Exaone 4.0 基准测试结果喜忧参半,推理能力得分较低

    Exaone 4.0 是一个拥有 12 亿参数的模型,在多个基准测试中展示了特定的性能指标。独立测量的结果显示,它在 GPQA 上 đạt 42.4%,在 MMLU-Pro 上 đạt 50%,在 Humanity's Last Exam 上 đạt 5.7%。该模型在长上下文推理任务上的得分为 0%。

  17. RESEARCH · CL_298396 ·

    Gemini 4 Argon、Claude Opus 5.5 和 GPT-5.3 Codex 引领最新 AI 模型对比

    2026年2月,AI实验室发布了包括Gemini 3.1 Pro、Claude Opus 4.6和GPT-5.3 Codex在内的多款先进模型,每款模型在软件开发的各个领域都展现出优势。Gemini 3.1 Pro在推理基准测试和算法编码方面表现出色,而Claude Opus 4.6在实际编码任务中处于领先地位,并具备Agent Teams功能。GPT-5.3 Codex在终端工作流方面表现更优,并提供更快的推理速度。2026年2月的…

  18. TOOL · CL_296290 ·

    K2-V2 (Medium) 基准测试分数揭示推理差距

    对 K2-V2 (Medium) 模型的独立评估揭示了其在各种基准测试上的表现。虽然它在 GPQA 上获得了 59.8% 的分数,在 MMLU-Pro 上获得了 76.1% 的分数,但其在 Humanity's Last Exam 上的表现下降至 4.4%。这表明该模型自我报告的能力与其真实的推理表现之间存在显著差异。

  19. TOOL · CL_290341 ·

    LLM评估方法改编心理测量学理论,以实现更公平的基准测试比较

    研究人员开发了一种新的评估大型语言模型(LLM)的方法,该方法改编自心理测量学中的项目反应理论(IRT)。这种方法将每个基准测试视为一个“项目”,并根据LLM在各种基准测试中的表现来模拟其“能力”,同时考虑了基准测试的难度和区分度。这种基于IRT的方法可以实现模型之间更准确的比较,即使它们在不同的基准测试集上进行了评估,从而解决了简单平均法的局限性。

  20. SIGNIFICANT · CL_288568 ·

    Anthropic 的 Claude Haiku 5.5 提升运营能力,引入自适应推理

    Anthropic 发布了 Claude Haiku 5.5,这是一个重要的升级版本,具有增强的运营能力和自适应推理。新模型在计算机操作、知识工作和多学科推理方面显示出显著的改进,基准测试表明其性能相比前代产品有了显著飞跃。尽管取得了这些进步,Haiku 5.5 在复杂的编程任务方面仍落后于 Sonnet 5.5 等更高级别的模型。此次更新还引入了更灵活的定价结构,对超过 100,000 个 token 的上下文窗口实行分级收费,并采…