Anns

RedNote的HELMSMAN将ANNS硬件成本降低90%

RedNote（小红书）的研究人员开发了HELMSMAN，一个新颖的基于聚类的近似最近邻搜索（ANNS）系统，旨在显著降低大规模ANNS部署的硬件成本。通过集成用户空间存储栈、学习型剪枝模块和GPU加速构建流水线，HELMSMAN实现了可观的节省，将硬件成本降低了90%以上。该系统能够在数小时内处理数十亿规模的索引重建，并且目前支持在40台机器上运行ANNS工作负载，而此前这需要大约35,000个核心和0.35 PB的DRAM。