Apache Parquet
PulseAugur coverage of Apache Parquet — every cluster mentioning Apache Parquet across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
AI 技术栈、数据分析和多模态嵌入的探讨
这个来自 Qiita 的文章集锦，在 Mastodon 上分享，探讨了各种 AI 应用和技术栈。一篇文章讨论了使用 TypeScript 作为 AI 代码生成的主要语言，并辅以 Python 和 Go 来处理特定任务。另一篇文章深入探讨了使用 Oracle Autonomous AI Lakehouse 在 Amazon S3 上分析大型日志数据，详细介绍了外部表、Parquet、SQL、Vector Search 和 RAG 的使用…
-
Databricks 为 AI 智能体、模型和数据推出 OpenSharing
Databricks 推出了 OpenSharing，这是其 Delta Sharing 协议为智能体 AI 时代进行的演进。这个新的开源协议现在由 Linux Foundation 托管，它将数据共享扩展到涵盖跨任何云或供应商的模型、智能体和技能。OpenSharing 旨在通过支持 Delta Lake、Apache Iceberg 和 Apache Parquet 等各种格式，实现无缝协作，让数据和 AI 资产保留在其原始位置。
-
MLSkip 通过轻量级元数据改进数据库过滤
研究人员开发了 MLSkip，一种用于改进数据库中机器学习过滤数据跳过的创新技术。传统方法对于过滤谓词中昂贵的黑盒机器学习模型无效。MLSkip 利用 Parquet 的 min-max 元数据和神经网络验证来修剪不符合条件的数据组，有效性高达 38.31%。该方法在 DuckDB 中比 PyTorch 实现了 1.07 倍的端到端加速。
-
Java 解析器 Hardwood 通过 AI 提升 Apache Parquet 速度
Gunnar Morling，以 1 Billion Row Challenge 闻名，发布了 Hardwood，一个用于 Apache Parquet 的新 Java 解析器。该解析器设计为零依赖且超快，利用 Java 虚拟线程进行页级并行处理，以优化 CPU 核心使用和并发。Morling 强调，该解析器是在 AI 辅助下构建的，这加快了开发速度，但他同时强调了人类监督对于保持代码质量和防止回归至关重要。
-
AWS 将定制的 Graviton 芯片集成到 Redshift 分析堆栈中
Amazon Web Services 为其 Redshift 数据仓库服务推出了新的 Graviton 驱动的 RG 实例。这些实例集成了数据仓库和数据湖分析，旨在提高 AI 时代数据基础设施的性能并降低成本。AWS 指出，与前几代产品相比，数据仓库性能最高可提高 2.2 倍，Apache Iceberg 性能最高可提高 2.4 倍，同时还降低了成本。
-
OptimusKG：新的多模态生物医学图谱整合了多样化的生命科学数据
研究人员开发了 OptimusKG，一个新颖的多模态知识图谱，旨在整合多样化的生物医学数据。该图谱整合了结构化和半结构化资源，涵盖分子、解剖、临床和环境信息。OptimusKG 包含超过 190,000 个节点和 2100 万条边，保留了详细的元数据和来源信息。其有效性通过 PaperQA3 代理进行了评估，该代理确认了图谱中大部分关系都有文献支持。