引入了一个名为 FormBench 的新基准测试,用于评估模型在配方专利中的细粒度检索能力。该基准测试包含超过 55,000 个查询和两个语料库变体,旨在测试精确的化学信息提取。初步评估显示,包括 OpenAI 模型在内的商业 API 编码器表现不佳,而任务自适应微调显著提高了 Qwen3-Embed 等开源模型的性能。BM25 等传统方法仍具竞争力,该研究强调了语料库大小的影响以及 API 模型中几何坍塌的问题。 AI
影响 突出了当前商业检索 API 的显著局限性,并证明了微调在专业任务中的有效性。
排序理由 该项目描述了一个用于评估检索模型的新学术基准测试,包括对各种模型的性能分析。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →