English(EN) Keenable AI Open-Sources NEEDLE: A Live Search Benchmark That Rebuilds Its Query Set Every Hour

Keenable AI 开源 NEEDLE，一个动态网络搜索基准

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-31 23:43

Keenable AI 已开源 NEEDLE，这是一个新的基准，旨在通过动态生成每日和每小时的查询集来评估网络搜索 API。这种方法可防止代理访问预先存在的答案，从而确保对其检索能力的更准确评估。NEEDLE 将查询分为新闻、金融、学者、深度细节和法律类别，并为每个垂直领域定制评分方法。该基准还通过汇集所有测试过的搜索 API 的结果来建立一个“最终上限”，从而可以清晰地区分排名问题和全市场检索问题。 AI

影响提供了一种更强大的评估搜索代理的方法，有可能推动整个行业在检索和排名质量方面的改进。

排序理由开源发布用于评估 AI 搜索能力的新基准。[lever_c_demoted from research: ic=1 ai=1.0]

在 MarkTechPost 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 44 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 开源发布用于评估 AI 搜索能力的新基准。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: product, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

MarkTechPost TIER_1 English(EN) · Asif Razzaq · 2026-08-31 23:43

Keenable AI 开源 NEEDLE：一个每小时重建查询集的实时搜索基准

<p>How do you benchmark a web search API when the thing being tested can read the answer key? A search agent has a fetch tool. If the gold labels sit in a public dataset, the agent can download them mid-evaluation and skip retrieval entirely. A similar problem arises when the ans…

本文如何被排名

报道来源 [1]

Keenable AI 开源 NEEDLE：一个每小时重建查询集的实时搜索基准

相关实体

相关话题