SimHash

H3D基准测试评估用于文档去重的无监督文本哈希

一项名为H3D的新基准测试已被开发出来，用于评估细粒度文档去重的无监督文本哈希方法，特别是针对科学文档。该基准测试将MinHash和SimHash等传统的非学习方法与利用BGE嵌入的语义敏感方法进行了比较。H3D根据排名质量、效率和鲁棒性评估各种方法，揭示了用于近重复文档的词汇/结构指纹与用于内容重写的语义表示之间的权衡，而后者会产生更高的计算成本。