Apache Parquet
PulseAugur coverage of Apache Parquet — every cluster mentioning Apache Parquet across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
开发者分享数据分析工具和AI面试准备的见解
一位开发者分享了使用DuckDB和Apache Parquet分析公共开放数据的见解，强调了其处理大型数据集的效率，且无需API密钥。另一位开发者讨论了他们创建的用于面试准备的工具DevInterview.ai，并指出该工具与其他免费选项一同可用。
-
DuckDB 简化 Parquet 文件重写
本文介绍了如何使用 DuckDB 高效地重写 Parquet 文件。文章强调，通过利用 DuckDB，用户可以简化修改和优化以 Parquet 格式存储的数据的过程，从而通常能提高性能并减小文件大小。
-
Spark表管理错误导致数据湖丢失40TB数据
由于对Spark环境中表管理的误解，一个数据湖遭遇了灾难性的40TB数据丢失。一个本意为删除旧的临时表的例行清理脚本，却错误地删除了生产表中的数据，因为它被错误地创建为一个指向生产数据位置的“托管”（managed）表。这一事件凸显了在区分“托管”（内部）表和“外部”表方面严重缺乏一个框架，导致在删除托管表的元数据条目时删除了数据文件。
-
新的Scen-Opt工具箱支持数据驱动的凸优化
研究人员开发了Scen-Opt，一个开源软件工具箱，旨在通过场景方法促进数据驱动的凸优化。该工具将凸优化与数据样本相结合，为决策提供统计保证。Scen-Opt是用Python实现的，并包含一个带有图形界面的用户友好型Web应用程序，支持各种数据格式的输入。
-
GetQueryly推出用于AI数据分析的MCP服务器和API
GetQueryly推出了一款专为AI驱动的数据分析设计的MCP服务器和API，允许用户上传CSV、Excel、JSON、PDF和Apache Parquet等各种文件类型。然后，用户可以使用自然语言查询他们的数据，并获得图表、解释和见解。该服务与Claude和Cursor+等AI助手集成，或者可以通过REST API直接访问以用于自定义应用程序。GetQueryly旨在通过处理实际上传的数据并为结果提供视觉证据，从而消除AI数据分析中的猜测。
-
Adaption Labs 推出 API，可根据任务描述生成 AI 训练数据
Adaption Labs 推出了“Invent a Dataset”，这是一项新功能，可以直接从任务描述生成训练数据，无需种子语料库、模式或手动标注。该工具旨在通过创建更贴合期望行为的数据集来提高模型质量。生成的数据可以导出为 JSONL、CSV 或 Parquet 等各种格式，并与 Adaption 的 AutoScientist 集成，以实现数据和训练配方的协同优化。
-
Databricks 在湖仓一体中推出用于多模态数据的原生 FILE 类型
Databricks 推出了一项名为 FILE 类型的新测试版功能，旨在将文档、图像和视频等非结构化数据作为原生列存储在表中。这项创新旨在将多模态数据直接集成到湖仓一体中，使其能够与结构化数据一起进行查询、保护和管理。该公司正与社区合作，将 FILE 类型对 Apache Parquet 和 Delta Lake 的支持嵌入其中，以确保广泛的生态系统兼容性和数据可移植性。
-
新的 Lakehouse 方法通过文件剪枝增强向量搜索
研究人员开发了一种新颖的方法，用于将近似最近邻 (ANN) 搜索与结构化数据过滤集成到开放 Lakehouse 表格式中，特别是 Apache Iceberg 之上的 Parquet。该方法利用 Lakehouse 现有的文件剪枝功能，如分区剪枝和区域图 (zone-maps)，首先减少需要搜索的数据文件数量。IVF 索引嵌入在每个 Parquet 文件的页脚中，允许在过滤后对剩余文件进行高效的每文件 ANN 搜索。这种组合显著加快了…
-
AI应用探索：安全分析、开发与文档
Qiita上的几篇文章讨论了AI在各种技术场景中的应用。一篇文章详细介绍了对利用SOCKS代理的攻击的观察和AI驱动的分析。另一篇文章探讨了一种“粗略的AI驱动开发”方法，并提到了ClaudeCode。第三篇文章提供了使用Copilot通过复制粘贴提示来解决工作中“未知问题”的实用指南，特别针对专业人士。最后，有一篇文章涵盖了将Oracle Database手册和文档在对象存储中归档为Parquet格式，同时也提到了AI的视角。
-
Microsoft Fabric Warehouses 引入“时间旅行”功能以恢复数据
Microsoft Fabric Warehouses 现在提供“时间旅行”功能，允许用户查询数据在特定过去时间点的状态。此功能由底层的 Delta 存储架构实现，该架构使用不可变的 Parquet 文件和事务日志。当数据被更新或删除时，会创建新的 Parquet 文件，并且事务日志会记录这些更改，而不会立即删除旧文件。这会保留历史数据，使用户无需进行完整的数据库还原即可恢复到之前的状态并查询几分钟、几小时或几天前的数据。
-
Databricks 使 Variant 数据类型正式可用，以加快数据摄取速度
Databricks 宣布其 Variant 数据类型现已正式可用，旨在改进半结构化数据的摄取和查询。此功能与 Variant Shredding 一起，使用预测性优化来提高查询性能，与将数据存储为字符串相比，读取速度提高了 30 倍。已有超过 5,000 个团队使用 Variant 来摄取来自各种数据库的流式事件、API 负载和无模式数据，从而消除了数据模式化的前期成本。
-
AI 团队使用 DuckDB、Polars 和 Parquet 简化数据管道
本文详细介绍了 AI 团队如何采用更高效的数据管道架构。它强调了使用 DuckDB、Polars 和 Apache Parquet 作为构建更快、更简单的数据处理系统的关键组件。该方法旨在取代传统的、更复杂的 ETL（提取、转换、加载）堆栈。
-
Apache Arrow 和 Parquet：为数据工程师解释列式存储
本文通过数据工程师 Joey 和 Chandler 之间的虚构对话，阐述了 Apache Arrow 和 Apache Parquet 在大规模数据处理中的优势。Chandler 解释说，对于需要列数据的分析查询而言，基于行的存储效率低下，并将其与针对此类任务进行了优化的列式存储进行了对比。对话强调了 Python 列表和 Pandas 在内存占用和数据类型解释问题方面可能很耗费资源，因此与 Parquet 等列式格式相比，它们不适合…
-
Apache Spark Catalyst 优化器：内部机制与性能陷阱
本文深入探讨了 Apache Spark Catalyst 优化器的内部工作原理，解释了 SQL 查询和 DataFrame 调用如何被转化为高效的物理执行计划。文章重点介绍了一个实际案例，其中一个看似微小的改动——将分区列包装在 Python UDF 中——导致 Spark 读取了比必要多 1500 倍的数据。解释侧重于 Catalyst 的树转换框架及其四个阶段的管道：分析、逻辑优化、物理规划和代码生成，并强调理解这些阶段对于优化…
-
Apache Spark 查询分解导致昂贵的数据重新计算
Apache Spark 中的一个常见陷阱是由于惰性求值以及 Spark 分解查询的方式而意外地重新计算数据。单个 `df.count()` 操作，如果在 `.write()` 等操作之前执行且未缓存 DataFrame，则会触发数据沿袭的完全重新执行。这是因为 Spark 将 DataFrame 视为配方而不是已物化的结果，如果不小心管理，会导致多次扫描大型数据集。理解 Spark 的作业、阶段和任务的三级层次结构对于优化性能和避免…
-
AI 技术栈、数据分析和多模态嵌入的探讨
这个来自 Qiita 的文章集锦，在 Mastodon 上分享，探讨了各种 AI 应用和技术栈。一篇文章讨论了使用 TypeScript 作为 AI 代码生成的主要语言，并辅以 Python 和 Go 来处理特定任务。另一篇文章深入探讨了使用 Oracle Autonomous AI Lakehouse 在 Amazon S3 上分析大型日志数据，详细介绍了外部表、Parquet、SQL、Vector Search 和 RAG 的使用…
-
Databricks 为 AI 智能体、模型和数据推出 OpenSharing
Databricks 推出了 OpenSharing，这是其 Delta Sharing 协议为智能体 AI 时代进行的演进。这个新的开源协议现在由 Linux Foundation 托管，它将数据共享扩展到涵盖跨任何云或供应商的模型、智能体和技能。OpenSharing 旨在通过支持 Delta Lake、Apache Iceberg 和 Apache Parquet 等各种格式，实现无缝协作，让数据和 AI 资产保留在其原始位置。
-
MLSkip 通过轻量级元数据改进数据库过滤
研究人员开发了 MLSkip，一种用于改进数据库中机器学习过滤数据跳过的创新技术。传统方法对于过滤谓词中昂贵的黑盒机器学习模型无效。MLSkip 利用 Parquet 的 min-max 元数据和神经网络验证来修剪不符合条件的数据组，有效性高达 38.31%。该方法在 DuckDB 中比 PyTorch 实现了 1.07 倍的端到端加速。
-
Java 解析器 Hardwood 通过 AI 提升 Apache Parquet 速度
Gunnar Morling，以 1 Billion Row Challenge 闻名，发布了 Hardwood，一个用于 Apache Parquet 的新 Java 解析器。该解析器设计为零依赖且超快，利用 Java 虚拟线程进行页级并行处理，以优化 CPU 核心使用和并发。Morling 强调，该解析器是在 AI 辅助下构建的，这加快了开发速度，但他同时强调了人类监督对于保持代码质量和防止回归至关重要。
-
AWS 将定制的 Graviton 芯片集成到 Redshift 分析堆栈中
Amazon Web Services 为其 Redshift 数据仓库服务推出了新的 Graviton 驱动的 RG 实例。这些实例集成了数据仓库和数据湖分析，旨在提高 AI 时代数据基础设施的性能并降低成本。AWS 指出，与前几代产品相比，数据仓库性能最高可提高 2.2 倍，Apache Iceberg 性能最高可提高 2.4 倍，同时还降低了成本。