infini-gram

SoftMatcha 2 使万亿级 token 搜索速度提升至 0.3 秒以内

研究人员开发了 SoftMatcha 2，这是一种新颖的算法，旨在对海量文本数据集进行快速、语义灵活的模式匹配。该系统可以在一秒钟内搜索万亿个 token，并能处理查询中的变体，如替换、插入和删除。它通过动态语料库感知剪枝和面向磁盘的设计来实现效率，在大语料库上性能优于现有方法，并证明了其在识别基准污染和增强信息检索方面的实用性。