Apache DataSketches

Databricks 推出草图函数，加速大数据集分析

Databricks 推出了四种新的草图函数，旨在显著加速分析查询。这些函数基于 Apache DataSketches 构建，通过使用具有可配置相对误差 1-2% 的有界内存近似，能够更快地计算百分位数、唯一计数和 Top-K 项。与精确计算相比，这种方法可以将计算时间和内存使用量减少几个数量级。通过允许在不重新处理原始数据的情况下存储、合并和重新查询草图，这些新功能还有助于实现实时分析，例如受众重叠分析和趋势排行榜。