EnterpriseDocBench

新框架对企业人工智能文档处理流水线进行基准测试

研究人员开发了EnterpriseDocBench，这是一个用于评估企业人工智能文档处理流水线端到端性能的新框架。该框架跨越六个企业领域评估解析保真度、索引效率、检索相关性和生成基础性。初步测试显示，混合检索方法略优于BM25，并且令人惊讶的是，与中等长度的文档相比，非常短和非常长的文档中的幻觉率更高。一个关键的发现是，虽然事实准确性很高，但答案的完整性却显著较低，这表明人工智能系统经常遗漏关键信息。