GTE-large

新的 FormBench 基准测试揭示了商业人工智能 API 检索性能不佳

引入了一个名为 FormBench 的新基准测试，用于评估模型在配方专利中的细粒度检索能力。该基准测试包含超过 55,000 个查询和两个语料库变体，旨在测试精确的化学信息提取。初步评估显示，包括 OpenAI 模型在内的商业 API 编码器表现不佳，而任务自适应微调显著提高了 Qwen3-Embed 等开源模型的性能。BM25 等传统方法仍具竞争力，该研究强调了语料库大小的影响以及 API 模型中几何坍塌的问题。