MapReduce
PulseAugur coverage of MapReduce — every cluster mentioning MapReduce across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
谷歌传奇人物 Jeff Dean 在效力 27 年后离职，创办 AI 初创公司
谷歌传奇工程师、最早的员工之一 Jeff Dean 宣布在效力 27 年后离职。Dean 在构建谷歌的许多基础架构方面发挥了关键作用，包括 MapReduce、BigTable 和 Spanner 等系统，并在 TensorFlow 和 TPU 的开发中发挥了重要作用。据报道，他的离职导致谷歌股价大幅下跌。Dean 现在将开启一项新事业，联合创办一家名为 Discovery Loop 的初创公司，专注于自动化机器学习、科学和工程。
-
Google 资深工程师 Jeff Dean 在任职 27 年后离职
谷歌的关键工程师 Jeff Dean，以其在 MapReduce、TensorFlow 和 TPU 方面的贡献而闻名，在谷歌任职 27 年后离职，将开启一项新事业。谷歌将此次离职描述为“战略演变”的一部分。此举与 Demis Hassabis 的新角色同时发生，引发了对这家科技巨头人才大规模流失的讨论。
-
新算法为大型数据集提供可扩展的轮廓近似
研究人员开发了用于估计轮廓分数的新算法，轮廓分数是用于评估数据聚类质量的指标。轮廓的精确计算在计算上非常昂贵，需要进行 O(n^2) 次距离计算，这对于大型数据集来说是难以承受的。所提出的方法使用采样来提供具有可控准确性和效率的估计，执行 O(nkε^{-2}ln(nk/δ)) 次距离计算。这些算法专为 MapReduce 和大规模并行计算 (MPC) 等可扩展和分布式框架而设计，利用恒定的轮次和次线性局部内存。
-
Anyscale 详解 Ray Data 以扩展多模态 AI 数据管道
Anyscale 的博客文章详细介绍了扩展多模态 AI 数据管道所面临的挑战，其中预处理通常会导致 GPU 资源不足，从而造成利用率低下。文章解释说，传统的阶段式批处理执行（涉及在预处理和训练之间将中间数据写入存储）由于显著的 I/O 成本和延迟而效率低下。文章提出了一种使用 Ray Data 的分离式流式架构，将预处理后的数据直接从专用的预处理集群流式传输到 GPU 工作节点，绕过存储瓶颈并提高 GPU 利用率。
-
Designing Data-Intensive Applications: The Cloud & Doing the Right Thing
Martin Kleppmann 和 Chris Riccomini 的《设计数据密集型应用》第二版更新了 2016 年的权威著作，以反映云计算的广泛采用。这一修订版探讨了云服务与自托管之间的权衡，强调了软件工程师的道德考量。作者们借鉴了他们丰富的经验，为在现代技术格局中构建弹性系统提供了见解。