Hierarchical BM25

Hierarchical BM25 实现千亿级文档词汇搜索，减少内存占用

一篇新研究论文介绍了一种名为 Hierarchical BM25 的方法，旨在使词汇搜索在大规模文档集合（例如十亿篇文档）中变得实用。传统的 BM25 索引在如此大的规模下计算成本高昂且速度缓慢，需要大量的内存和磁盘访问。Hierarchical BM25 将内存占用量大幅减少至约 4.4 GB，且不随语料库大小变化，并将查询延迟显著提高至约 300 毫秒。该方法牺牲了精确排名，以换取固定的内存和延迟限制，从而能够对超大型数据集进行交互式搜索。