mpi
PulseAugur coverage of mpi — every cluster mentioning mpi across labs, papers, and developer communities, ranked by signal.
-
新的HybridSGD方法优化分布式内存AI训练
研究人员开发了HybridSGD，一种新颖的二维并行随机梯度下降法，旨在优化分布式内存系统的性能。这种新方法在现有的1D方法（如s-step SGD和Federated SGD with Averaging (FedAvg)）之间提供了连续的权衡。理论分析证实了HybridSGD在收敛性、计算、通信和内存使用方面的优势。在Cray EX超级计算系统上的实证评估表明，在应用于二元分类任务时，HybridSGD比FedAvg具有更好的收敛…
-
AI编码助手简化了FABRIC测试台上的科学实验复现
研究人员展示了如何将FABRIC测试台与名为LoomAI的AI编码助手集成，从而显著简化科学实验的复现过程。跨越不同领域的三个案例研究表明，AI辅助将复现所需的精力减少了约4到6倍。虽然AI在环境设置、代码适应和调试方面有效，但对于缺乏清晰工作流程的分析阶段，它需要人类指导。
-
新研究解决多语言LLM毒性检测与缓解问题
两篇新研究论文探讨了在大型语言模型（LLM）中检测和缓解毒性的方法，特别关注多语言环境。第一篇论文调查了跨不同语言识别和减少有害输出的现有策略，强调了语言覆盖不均和有害定义具有文化特异性等挑战。第二篇论文介绍了ToxSearch-S，一种分布式进化搜索算法，旨在寻找引发毒性响应的对抗性提示，并通过MPI实现和改进的毒性检测与现有方法相比，展示了效率的提升。
-
万亿参数AI模型给Kubernetes编排带来挑战
在Kubernetes集群中运行万亿参数的AI模型，其挑战远超标准的容器编排。这些庞大的模型需要分布式系统方法，其中单个“副本”可能包含多个GPU甚至整个节点，而不是适合单个Pod。核心问题在于管理模型权重所需的巨大内存，即使采用16位精度，也可能达到TB级别，这需要仔细考虑并行策略和量化技术。
-
Morphling 增强器将 GNN 训练速度提升 20 倍
研究人员开发了 Morphling，这是一种领域特定代码合成器，旨在优化图神经网络 (GNN) 的训练。Morphling 将 GNN 规范编译为适用于 OpenMP、CUDA 和 MPI 等各种平台的便携式、后端专用实现。它包含一个运行时引擎，该引擎根据输入统计信息动态选择密集或稀疏执行路径，从而减少不必要的计算。评估表明，与 PyTorch Geometric 和 Deep Graph Library 等现有框架相比，Morphl…
-
OpenAI发布Proximal Policy Optimization，实现更简单、有效的强化学习
OpenAI发布了Proximal Policy Optimization (PPO)，这是一种新的强化学习算法，其性能可与现有方法媲美或更优，同时实现更简单的实现和调优。PPO在易用性、样本效率和超参数调优之间取得了平衡，使其成为深度神经网络控制任务的宝贵工具。该版本包括使用TensorFlow和MPI的可扩展、并行Python 3实现，以及提供显著速度提升的GPU版本PPO2。