Zifei Feng

Databricks 为 Apache Spark 结构化流式处理启用按需状态重新分区

Databricks 推出了适用于 Apache Spark 结构化流式处理的按需状态重新分区功能，该功能在 Databricks Runtime 18 及更高版本中可用。此功能允许用户在不丢失累积状态的情况下调整有状态流式查询的分区数量，从而解决数据倾斜和性能下降的问题。Coveo 等早期采用者报告了显著的运营节省，包括 Amazon S3 API 成本降低 40%，这使他们能够随着需求的转移动态扩展基础设施。