研究人员开发了 SoftMatcha 2，这是一种新颖的算法，旨在对海量文本数据集进行快速、语义灵活的模式匹配。该系统可以在一秒钟内搜索万亿个 token，并能处理查询中的变体，如替换、插入和删除。它通过动态语料库感知剪枝和面向磁盘的设计来实现效率，在大语料库上性能优于现有方法，并证明了其在识别基准污染和增强信息检索方面的实用性。 AI
影响 该算法可以显著加速大型语言模型和其他人工智能应用的数据处理和分析。
排序理由 这是一篇详细介绍新算法及其经验评估的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Deguchi et al.
- FineWeb-Edu
- infini-gram
- infini-gram mini
- Lozhkov et al.
- Masataka Yoneda
- SoftMatcha
- SoftMatcha 2
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →