SciCode
PulseAugur coverage of SciCode — every cluster mentioning SciCode across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
开源LLM评估：DeepSeek V4引领基准测试
多个开源大型语言模型在各种基准测试中进行了独立评估，其中DeepSeek V4 Flash 0420在GPQA（89.4%）和Humanity's Last Exam（34.8%）中取得最高分。Qwen3.5 4B在长上下文推理（63%）方面也表现强劲，而GLM-4.6V在MMLU-Pro（79.9%）方面表现出色。这些结果来自独立测量，而非自我报告数据，并可在公开排行榜上查阅。
-
Opus 5.5 基准测试结果喜忧参半：综合能力第一，安全代码能力第三
Anthropic 的 Opus 5.5 近期的独立基准测试结果呈现出矛盾。Artificial Analysis 的一项评估将 Opus 5.5 置于总体第一的位置，在编码和知识测试中超越了 OpenAI 的 GPT-6 Astra 和 Anthropic 自家的 Fable 5.1。然而，Endor Labs 一项专注于安全代码生成的独立基准测试将 Opus 5.5 排在第三位，这表明它可能记住了训练数据，并且在真实项目的功能正确…
-
DeepSeek V4 Pro 0813 基准测试显示 Humanity's Last Exam 得分为 10.6%
DeepSeek V4 Pro 0813 在包括 Humanity's Last Exam、Long Context Reasoning 和 SciCode 在内的基准测试中展示了具体的性能指标。该模型在 Humanity's Last Exam 上达到 10.6%，在 Long Context Reasoning 上达到 50.7%，在 SciCode 上达到 39.9%。此外，它每秒处理 160.7 个 token，每美元达到 1…
-
开发者推出 Livenerf 以客观追踪 Claude Opus 5.5 性能
一位开发者推出了一款名为 Livenerf 的开源项目，旨在客观追踪 Anthropic 的 Claude Opus 5.5 模型随时间的性能表现，以回应用户普遍怀疑模型在发布后被“削弱”的猜测。该项目使用了一个精心挑选的包含 78 个问题的面板，Opus 5.5 有时能正确回答这些问题，目的是建立一个可复现的基准并检测性能下降。尽管初步数据收集正在进行中，该项目强调透明度，并旨在提供实证来反驳关于模型质量变化的传闻。
-
DeepSeek V4 Pro 和 Nova 2.0 Lite 基准测试公布 · 跟踪 2 个来源
独立基准测试揭示了两个大型语言模型 DeepSeek V4 Pro 和 Nova 2.0 Lite 的性能。DeepSeek V4 Pro 在侧重推理的任务中取得了高分，GPQA 得分为 92.8%，长上下文推理得分为 80.3%。Nova 2.0 Lite 被描述为非推理模型，在这些基准测试中的得分较低，但提供了更高的每美元智能点数指标。
-
新的量子-经典混合人工智能架构提升长时推理能力
研究人员推出了一种新颖的量子-经典混合架构QART，旨在提高人工智能模型在长时推理方面的能力。QART集成了骨干语言模型与量子编码、优化和解码技术，以减轻早期错误的影响。使用DeepSeek V4 Flash、GLM-5.3和GPT-5.5等模型在六个基准测试上的初步测试表明，在大多数配置下，QART的表现优于骨干模型，在与编码相关的任务上取得了显著的提升。
-
人工智能分析指数 v4.2 发布，Anthropic 领跑排名
Artificial Analysis 发布了其 Intelligence Index 的 4.2 版本，引入了 AA-Briefcase（用于代理知识工作）和 GDP.pdf（用于长上下文文档推理）等新评估。此次更新将私有、保留测试集的权重增加到 40%，以防止作弊，并包括了更强大的评分基础设施升级。最新排名显示，Anthropic 的 Claude Fable 5.1 领先，其次是 OpenAI 的 GPT-6 Astra 和 Meta。
-
Nvidia 发布量化版 Alibaba Qwen3.8-27B 模型，用于 AI 代理
Nvidia 发布了 Alibaba 的 Qwen3.8-27B 语言模型的量化版本，该版本针对 AI 代理系统和其他应用程序进行了优化。此模型名为 nvidia/Qwen3.8-27B-NVFP4，利用 Nvidia 的 Model Optimizer 进行量化，并设计用于在 Nvidia GPU 加速系统上高效运行。它支持高达 262K 的上下文长度，并在推理、编码和多模态任务等各种基准测试中进行了评估。
-
Qwen3.5 2B在独立基准测试中表现参差不齐
独立基准测试显示，Qwen3.5 2B（一个非推理模型）在GPQA基准测试中取得了43.8%的成绩。然而，在更复杂的任务上，其表现显著下降，在HLE上仅得5%，在长上下文推理上仅得15%，在SciCode上仅得7.2%。这表明在具有挑战性的评估中存在显著的性能差距。
-
Kimi K2.5 在具有竞争力的定价下实现了强劲的基准分数
Kimi K2.5 在包括 GPQA、HLE、长上下文和 SciCode 在内的多个基准测试中取得了显著的性能。该模型在这些评估中的定价具有竞争力，每美元 30 个整数点。这些结果是独立测量和发布的。
-
Reddit讨论显示，AI模型在科学编码基准测试中接近饱和
Reddit的r/singularity论坛上的一个讨论探讨了AI模型在科学编码基准测试（特别是SciCode、HLE和CritPt）上的饱和点。分析表明，虽然HLE和CritPt的月度改进率分别约为2.6%和2.3%，但SciCode的进展速度明显较慢，约为每月1.2%。讨论强调了即使是GPT 5.6和Claude Fable 5等先进模型在SciCode上的表现似乎也已达到平台期。
-
Sarvam 30B 模型性能指标在基准测试中公布
Sarvam AI 发布了其 Sarvam 30B 模型，目前已公布多个基准测试的性能指标。该模型在 GPQA 上达到 63.3%，在 Humanity's Last Exam 上达到 7.5%，在 SciCode 上达到 19.2%。值得注意的是，它在长上下文推理任务上得分为 0%，并且其成本效益以每美元 136.2 智能点突出显示。
-
Llama、GLM 和 Mistral 模型发布 LLM 性能基准 · 跟踪 4 个来源
独立基准测试揭示了包括 Llama 3.2 Instruct 90B、GLM-4.7-Flash、Mistral Large 2 和 Llama 3.1 Instruct 8B 在内的多个大型语言模型的性能指标。数据突出了 GPQA、MMLU-Pro、Humanity's Last Exam 和 Long Context Reasoning 等各种评估的分数，一些模型还报告了每美元的智能点数。
-
Meta 的 Muse Spark 1.2 展现出快速的性能提升，可与顶级 AI 模型相媲美
Meta 最新的基础模型 Muse Spark 1.2 在第三方性能分析中取得了高分，显示出自 Muse 系列发布四个月以来取得了快速进步。该模型在人工智能分析指数（Artificial Analysis Intelligence Index）上显著超越了 Grok 4.5，并在代理任务、编码和客户支持基准测试中展现出增强的能力。尽管其性能强劲且与竞争对手相比具有成本效益，但在某些高级基准测试中，Muse Spark 1.2 略微落后…
-
Gemma 4 在 SciCode 基准测试中排名靠前引发用户质疑
Reddit 的 r/LocalLLaMA 社区的一名用户质疑 artificialanalysis.ai 报告的 Gemma 4 在 SciCode 基准测试中的排名高于 Qwen-3.6 27B。该用户表示惊讶，称该排名与其在编码任务中对这些模型的实际使用经验相悖。他们推测 Gemma 4 是否真的如此精通，或者基准测试本身是否存在问题。
-
新方法通过整合经验增强LLM科学计算能力
研究人员开发了一种名为SciConsolidate的新方法，以提高大型语言模型（LLM）的科学计算能力。该技术将解决问题的运行时经验转化为可转移的程序性知识，解决了特定修复可能无法泛化以及较弱模型难以执行抽象程序的问题。通过分析成功和失败的案例，SciConsolidate诱导出跨任务程序，并使用基于失败的查询合成来扩展训练数据。将其应用于Qwen3.6-27B后，其在科学计算任务上的性能有所提高，而较小的Qwen3.5-9B模型在程…
-
LLM基准测试结果揭示多个模型的性能 · 追踪9个来源
一项最近的独立基准评估揭示了包括Kimi K2、Sarvam Maya、NVIDIA Nemotron 3 Super 120B、DeepSeek V3.2、Falcon H1R-7B、GLM-5.2、GLM-5.1、Solar Open 100B和GLM-4.7-Flash在内的多个大型语言模型的性能指标。基准测试涵盖了推理、MMLU-Pro、人类最后考试和长上下文推理等领域，不同模型的结果差异显著。值得注意的是，GLM-5.2和D…
-
开源大模型在多项指标上表现强劲 · 追踪 4 个来源
根据独立测量结果，几款开源人工智能模型在各种基准测试中表现强劲。Mi:dm K 2.5 Pro 在 GPQA 上达到 70.1%，在 MMLU-Pro 上达到 80.9%；MiMo-V2-Flash 在 GPQA 上达到 83.5%，在 Humanity's Last Exam 上达到 20%；Qwen3.5 122B A10B 在 GPQA 上达到 85.7%，在 Humanity's Last Exam 上达到 23.4%；Apr…
-
AI研究引入基准演化和智能体自重构新方法
两篇新研究论文介绍了推进AI能力的新方法。BenchEvolver 专注于通过演化现有问题来创建更具挑战性的编码基准，旨在克服基准饱和并改进模型训练。ToolSelf 提出了一种用于LLM智能体的运行时自重构范式，允许它们在任务执行期间动态调整其工具和策略，以增强泛化能力和性能。
-
NVIDIA 量化 Alibaba 的 Qwen3.6-35B 模型以实现高效部署
NVIDIA 发布了 Alibaba 的 Qwen3.6-35B-A3B 模型的量化版本，命名为 nvidia/Qwen3.6-35B-A3B-NVFP4。该模型使用 NVFP4 数据类型，将内存需求减少约 3.06 倍，同时在各种基准测试中保持了有竞争力的性能。它针对 AI 代理系统、聊天机器人和 RAG 系统进行了优化部署，并已准备好商用。