Ceph
PulseAugur coverage of Ceph — every cluster mentioning Ceph across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
GPU 训练脚本失败与基础设施可变性相关
即使代码本身保持不变，训练脚本也可能由于基础设施的细微差别而在新的 GPU Pod 上意外失败。这些失败通常源于底层硬件、软件依赖项或存储配置的变化，例如 Nvidia、AMD 或 Intel 的特定 GPU 型号，或 Ceph 和 Lustre 等网络文件系统。问题也可能来自编排层，如 Kubernetes 或 Docker，影响资源的分配和访问方式。
-
Async-ceph项目启动，用Rust增强Ceph交互
一个名为async-ceph的新项目已被推出，为Ceph的RADOS、RBD和CephFS库提供了异步Rust接口。这一发展旨在提高与Ceph存储系统交互的性能和开发者体验。此外，还讨论了代理基准测试中的漏洞，重点是伯克利RDI的报告。
-
新的NIO Bench框架评估机器学习工作负载的存储性能
一个名为NIO Bench的新框架已被开发出来，用于评估各种机器学习工作负载的存储系统性能。该框架通过跟踪I/O模式，分析了六种不同的ML模型架构，包括语言Transformer、视觉Transformer和扩散模型。研究发现，数据准备、模型加载和检查点是I/O最密集的部分，而分布式存储缓存未命中时的读取尾部延迟是一个重要的瓶颈。
-
WekaFS 对比 Ceph 解决AI GPU饥饿问题：一场存储的较量
对WekaFS和Ceph在AI训练管道中解决GPU饥饿问题的有效性进行了比较。WekaFS提供极高的DPDK速度，但软件许可费用高昂；而Ceph则能在100G网络上提供PB级存储，且无厂商锁定。文章还建议在GRUB中使用iommu=pt来修复NVMe CPU自旋锁，并强制要求在Kubernetes环境中，使用CephFS (RWX) 而非RBD来共享LLM权重。
-
本地 AI：对于付费服务用户而言，嵌入和重排器比本地 LLM 更有价值
Reddit 的 r/LocalLLaMA 社区的一位用户分享了一种策略，即使已经付费使用基于云的 LLM 服务，也可以利用本地硬件来执行 AI 任务。该用户发现，运行本地嵌入和重排器模型（例如 Qwen3 Embedding 4B 和 Qwen3 Reranker 4B）比运行本地 LLM 本身提供了更实用的价值。这种方法集成到一个名为 GBrain 的系统中，通过比简单的文件存储更有效地索引和检索相关信息，从而为 LLM 创建了一…
-
Ubuntu 19.10 增强 AI/ML 开发和边缘 Kubernetes
Canonical 发布了 Ubuntu 19.10，重点在于增强 AI/ML 开发和边缘计算能力。此次更新通过 MicroK8s 改进了对边缘 Kubernetes 的支持，并集成了 Kubeflow 以支持机器学习工作流。此外，它还提供了更好的多云基础设施经济性以及改进的桌面体验，包括性能增强和实验性的 ZFS 支持。