Slurm
PulseAugur coverage of Slurm — every cluster mentioning Slurm across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
GPUScope 解决 Kubernetes 之外的 GPU 计算浪费问题
在 Kubernetes 之外管理 AI 基础设施在追踪 GPU 计算浪费方面带来了严峻的挑战。目前的方法通常涉及使用 NVIDIA 的 DCGM exporter 和 Prometheus 等工具进行复杂的、手动设置，这些工具缺乏财务背景。这导致难以识别空闲但已分配的资源，给团队带来巨大的经济损失。为了解决这个问题，一个名为 GPUScope 的开源工具已被开发出来，可在无需 Kubernetes 环境的情况下提供具有成本意识的 G…
-
Slurm-web v7.0.0 为 HPC 增加 SSO 和容器支持
Slurm-web 发布了 7.0.0 版本，为高性能计算 (HPC) 用户和管理员带来了重大增强。此次更新包括通过 OpenID Connect 支持单点登录，支持 Docker/Podman 容器和 Kubernetes 的部署选项，以及改进的 UI 品牌化。此外，新版本还提供了作业历史记录、高级过滤、用户可见性控制以及与 Slurm 26.05 版本兼容等功能。
-
Fugaku-NEXT 设计报告详述混合 AI/HPC 调度和快速存储
Fugaku-NEXT（Fugaku 超级计算机的继任者）的设计报告已发布，其中详细介绍了其架构的宏伟计划。该系统将集成 Kubernetes 用于 AI 工作负载，并辅以 Slurm 和 PBS 等传统 HPC 调度器。它还设有一个吞吐量超过 100 TB/s 的双层文件系统，其中 VAST、WEKA 和 Scality 被确定为全闪存层的关键技术。
-
Expanse 推出以优化 GPU 集群利用率并减少浪费
Expanse 是一家由 Ismaeel、Eren、Yafet 和 Nikodem 创立的初创公司，现已推出一个旨在优化 GPU 集群利用率的平台。他们的系统分析作业代码、提交脚本和硬件遥测数据，以预测实际资源需求，目标是减少高性能计算 (HPC) 和 AI 训练环境中观察到的显著浪费。通过防止因资源配置不足导致的作业失败并提供优化建议，Expanse 旨在为研究人员和组织节省大量成本并提高效率。
-
Together AI 推出面向 AI 开发的自助式 GPU 集群
Together AI 推出了 Together Instant Clusters，一项提供现成可用、自助式 GPU 集群以支持 AI 开发和部署的新服务。该服务旨在简化设置多节点 GPU 基础设施的复杂过程，允许用户通过 API、CLI 或控制台在几分钟内配置包含数百个 GPU 的集群。该服务包括用于分布式训练和推理的预配置组件，支持 NVIDIA 的最新 GPU 架构和高性能网络解决方案。
-
Hugging Face 和 AWS 详解基础模型基础设施
Hugging Face 和 AWS 合作，详细介绍了训练和运行大型基础模型所需的基础设施。该博文概述了一个分层架构，强调了 AWS 的计算、网络和存储服务与开源软件框架之间的相互作用。它强调了高效资源管理和可观测性对于大规模 AI 运营的重要性。
-
Character.ai 将 SLURM 调度器与 Kubernetes 集成以支持 GPU 研究
Character.ai 开发了一个名为 Slonk 的内部系统，该系统将传统的 SLURM 调度器与 Kubernetes 集成，用于管理 GPU 研究集群。该系统旨在为研究人员提供熟悉的 SLURM 用户体验，包括公平队列和群体调度等功能，同时利用 Kubernetes 的操作优势，如编排、健康检查和自动扩缩容。Slonk 将 SLURM 节点视为 Kubernetes Pod，从而能够实现跨异构集群和云的高效资源共享和管理。