ExtractBench
PulseAugur coverage of ExtractBench — every cluster mentioning ExtractBench across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Bidraft 的 Darwin AI 在 12 项 Hugging Face 基准测试中领先,位居全球榜首
韩国人工智能初创公司 Bidraft 分析了 Hugging Face 的 63 项官方基准测试,结果显示其 Darwin AI 模型在 12 个类别中排名第一。这一成就使 Bidraft 领先于 140 家参与组织,其中 Moonshot AI 和 Z.ai 分别位列第二和第三。分析强调了 Bidraft 在科学、数学、文档识别和法律等不同领域的强劲表现,其 Darwin-180B 模型在中国的一项 SuperCLUE 评估中也名列前茅。
-
GPT-5.4 harness KYNEX在ExtractBench上击败前沿模型
一个名为KYNEX的新开源harness,基于GPT-5.4构建,在LlamaIndex ExtractBench基准测试中取得了92.97的F1分数,表现优于GPT-6 Astra和Claude Code等大型模型。该harness的成功归因于其新颖的架构,该架构为模型提供了访问和处理文档数据的专用工具,而不是依赖传统的分块或检索方法。这种方法通过使模型能够逐页与文档交互并确定性地验证其输出来处理极大的表格和复杂的文档布局。
-
Hugging Face基准测试领先者缺乏验证,得分差距微乎其微
对Hugging Face官方基准测试的最新分析显示,没有一个排名靠前的模型经过了第三方验证。VIDRAFT进行的一项研究检查了44个排行榜,发现尽管他们自己的模型在其中11个排行榜上名列第一,但与第二名模型的得分差距通常很小,有时甚至不到0.5分。这表明,虽然一个模型可能位居榜首,但这并不一定意味着其性能有显著优势,尤其是在所有条目未一致报告聚合方法和样本量的情况下。
-
开放180B模型Darwin-180B-RSI引领10项Hugging Face基准测试
一个名为Darwin-180B-RSI的开放权重模型在10个Hugging Face官方排行榜上名列前茅,超越了所有其他参与组织。该模型由VIDRAFT基于Alibaba的Qwen3.8-Flash-Next构建,不仅在MMLU-Pro和GPQA等学术基准测试中表现出色,还在文档解析(MDPBench)、结构化数据输出(IFStruct)和PDF字段提取(ExtractBench)等实际的企业级任务中展现出强大性能。该模型的训练方法,…
-
Bidraft 在 Hugging Face 基准测试中以 10 项第一名领先
Bidraft 在 Hugging Face 官方排行榜的 10 个类别中均获得第一名,数量超过任何其他组织。该公司的模型在新发布的“实用”基准测试 IFStruct 和 ExtractBench 中也表现出色,在结构化数据生成和文档信息提取方面展现出强大性能。Bidraft 新推出的 ZTC(Zero-Token Confidence,无 token 置信度)技术提供了一种显著更快、更安全的人工智能代理决策方法,直接在模型的内部状态…
-
Darwin-180B-RSI 模型领跑 10 个排行榜,可在笔记本电脑上运行
Darwin-180B-RSI 模型在包括 MDPBench、ExtractBench 和 IFStruct 在内的多个基准测试中取得了顶级排名,在 Hugging Face 排行榜上获得了 10 项官方第一名。这个拥有 1800 亿参数的模型,特别是 POCKET-Darwin-180B-GGUF 变体,因其能够在没有专用 GPU 的情况下在笔记本电脑和迷你 PC 等消费级硬件上运行而备受关注,这得益于其稀疏专家混合架构和 4 位量…
-
Darwin-180B-RSI凭借递归自改进在9项Hugging Face基准测试中领先
VIDRAFT的Darwin-180B-RSI模型家族在9项官方Hugging Face基准测试中均取得第一名,超越了所有其他参与组织。该开源模型采用了递归自改进技术,即它解决可验证的问题,只保留正确的解决方案,并在没有人类生成答案的情况下进行再训练。值得注意的是,它在结构化输出生成(IFStruct)和从PDF提取数据(ExtractBench)等实际任务中表现出色,展示了其在现实世界中的应用潜力。
-
Datalab推出OmniExtractBench以标准化AI文档提取评估
Datalab推出了OmniExtractBench,这是一个旨在解决结构化文档提取任务中偏差和不透明性问题的开放基准。该新基准评估AI系统从PDF文档填充JSON模式的准确性,并使用提供决策解释的确定性评分器。OmniExtractBench旨在提供一种标准化和可审计的评估方法,这与Datalab认为难以比较或验证的供应商创建的排行榜形成对比。该基准包含来自各种来源的620份文档,并采用基于内容的配对方法和匈牙利算法进行准确的表格对齐。
-
新的基准ExtractBench评估企业文档提取代理
研究人员推出了ExtractBench,这是一个旨在评估企业环境中模式引导文档提取能力的基准。该基准利用包含370份企业文档、共4,869页的数据集,在数值准确性、记录完整性、接地性和成本方面评估代理。初步结果显示,虽然商业VLMs在长文档方面存在困难,但编码代理准确但成本高昂。LlamaExtract Agentic Plus成为表现最佳者,以显著更低的成本提供与编码代理相当的准确性。