English(EN) Fi-ImageNet-1k: An OOD Benchmark From the Inside of the ImageNet-1k Validation Set

新的OOD基准测试Fi-ImageNet-1k挑战AI模型

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-02 04:00

研究人员开发了Fi-ImageNet-1k，这是一个旨在挑战AI模型分布外（OOD）检测能力的新数据集。该数据集源自ImageNet-1k验证集中的图像，这些图像经过重新标注后发现不属于任何ImageNet-1k类别。专家人工标注员在多模态大语言模型（MLLMs）、视觉语言模型（VLMs）和反向图像搜索的辅助下，识别出可以被分配到原始ImageNet-1k标签空间之外的特定类别的图像。由此产生的Fi-ImageNet-1k包含522个类别的655张图像，比现有OOD数据集难得多，目前最先进的方法在95%的真阳性率下仍无法将误报率降至51%以下。 AI

影响该基准测试将推动更鲁棒的分布外检测方法的开发，这对于AI在现实场景中的安全部署至关重要。

排序理由该集群描述了一篇介绍用于评估AI模型能力的新型数据集的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 24 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群描述了一篇介绍用于评估AI模型能力的新型数据集的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CV TIER_1 English(EN) · Ruslan Rozumnyi, Mat\v{e}j Such\'anek, Tom\'a\v{s} Voj\'i\v{r}, Kl\'ara Janou\v{s}kov\'a, Ji\v{r}\'i Matas · 2026-09-02 04:00

Fi-ImageNet-1k：来自ImageNet-1k验证集内部的OOD基准测试

arXiv:2609.01027v1 Announce Type: new Abstract: Out-of-distribution (OOD) detection predicts whether a test image belongs to none of the predefined classes. To evaluate this task, benchmarks need images from outside the in-distribution (ID) data; typically, these are defined or c…

本文如何被排名

报道来源 [1]

Fi-ImageNet-1k：来自ImageNet-1k验证集内部的OOD基准测试

相关实体

相关话题