English(EN) Extraction APIs invented values for 17% of the fields that aren't in the document. Ours included.

研究发现AI模型捏造17%的缺失数据字段

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-02 14:43

数据提取API销售公司Velrim的最新评估显示，AI模型经常为源文档中不存在的字段捏造信息。在包括Mistral AI、Gemini和OpenAI的模型在内的六个测试系统中，平均有17%的缺失字段被捏造了值。Mistral AI的模型表现出特别高的捏造率，约为40%。虽然Velrim自己的API在准确性方面与Gemini等裸模型相当，但其较高的成本通过其衡量和报告这些捏造率的能力来证明是合理的，提供了一个已发布的错误指标。 AI

影响这项研究突显了当前LLM提取能力的一个关键缺陷，表明需要改进幻觉缓解措施，并可能影响AI驱动的数据处理的可靠性。

排序理由该集群报告了对AI模型数据捏造性能的基准评估，这是一项研究发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 54 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群报告了对AI模型数据捏造性能的基准评估，这是一项研究发现。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: product, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Velrim · 2026-09-02 14:43

提取API发现在文档中不存在的17%的字段值。我们的也包括在内。

<p>Velrim ran this comparison, and we sell one of the six APIs in the table. Every raw output, request ID, and the scoring CLI are in the repo (<a href="https://github.com/velrimhq/velrim-eval" rel="noopener noreferrer">https://github.com/velrimhq/velrim-eval</a>).</p> <h2> Why w…

本文如何被排名

报道来源 [1]

提取API发现在文档中不存在的17%的字段值。我们的也包括在内。

相关实体

相关话题