English(EN) I benchmarked what frontier models actually know about 2026 — most of it, they don't

前沿 LLM 在新基准测试中未能回忆起 2024 年后的事实

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-01 14:03

一项名为“Post-Cutoff Knowledge 150”的新基准测试旨在评估前沿 LLM 关于其训练数据截止日期之后发生的事件的参数化知识。该基准测试包含 150 个事实性问题，这些问题源自仅限于 2025-2026 年事件的网页索引，结果发现即使是表现最好的模型也面临严峻挑战，Gemini 3.7 Flash 的得分最高，达到 24%。研究表明，推理能力无法弥补截止日期后知识的缺失，模型大小或价格与性能没有持续相关性，这表明训练数据的时效性是一个关键因素。 AI

影响凸显了 LLM 在近期事件参数化知识方面的显著差距，影响了那些依赖最新信息而无需 RAG 的应用程序。

排序理由在 dev.to 上发布了评估 LLM 训练数据截止日期后知识的新基准测试。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 在 dev.to 上发布了评估 LLM 训练数据截止日期后知识的新基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 2 days old; Coverage has settled into its steady-state source set.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Jeffrey Turov · 2026-10-01 14:03

我测试了前沿模型对2026年的实际了解程度——它们大多一无所知

Benchmark: <a href="https://www.kaggle.com/benchmarks/tasks/jeffreyturov/post-cutoff-150" rel="noopener noreferrer">https://www.kaggle.com/benchmarks/tasks/jeffreyturov/post-cutoff-150</a> Dataset: <a href="https://www.kaggle.com/dataset…

本文如何被排名

报道来源 [1]

我测试了前沿模型对2026年的实际了解程度——它们大多一无所知

相关实体

相关话题