研究人员开发了一种新颖的方法，用于将近似最近邻 (ANN) 搜索与结构化数据过滤集成到开放 Lakehouse 表格式中，特别是 Apache Iceberg 之上的 Parquet。该方法利用 Lakehouse 现有的文件剪枝功能，如分区剪枝和区域图 (zone-maps)，首先减少需要搜索的数据文件数量。IVF 索引嵌入在每个 Parquet 文件的页脚中，允许在过滤后对剩余文件进行高效的每文件 ANN 搜索。这种组合显著加快了查询速度，在大型数据集上比暴力搜索快 32 倍，在跨连接应用过滤器时速度接近两个数量级。 AI
影响 这项研究通过加速涉及结构化过滤和相似性搜索的任务的数据检索，有望提高 AI 模型训练和推理的效率。
排序理由 详细介绍数据检索新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
