DeepSeek-32B
PulseAugur coverage of DeepSeek-32B — every cluster mentioning DeepSeek-32B across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
通过优化数据传输效率降低GPU计算租赁成本
本文讨论了优化GPU计算租赁中的数据传输效率，这是降低AI工作负载成本和提高性能的关键因素。文章强调，GPU计算通常按小时计费，数据加载瓶颈成为一项重大的隐藏成本。文章提出了三种优化策略：通过从传统的网络文件系统（NFS）迁移到NVMe-oF全闪存阵列来增强存储架构；利用RDMA等网络协议绕过CPU和操作系统开销；以及实施缓存分层，将频繁访问的数据移近GPU。
-
云计算成本优化：按需与动态扩展策略
AI工作负载的云计算成本优化涉及按需分配与动态扩展之间的战略选择，具体取决于工作负载模式和服务水平协议（SLA）。按需分配最适合稳定、对延迟敏感的生产任务，而动态扩展则更适用于需求波动的推理工作负载。GPU实例在Amazon Web Services、Microsoft Azure和Google Cloud等提供商之间的定价，以及模型加载时间等因素，显著影响最佳策略。例如，在华为Ascend等平台上更快的模型加载可以提高动态扩展策略对…
-
LLM 存储延迟容忍度随 GPU 利用率阶梯式变化
LLM 推理的存储延迟容忍度并非随 GPU 利用率线性下降，而是以阶梯状方式变化。在较高的 GPU 利用率水平（约 90%）下，计算队列饱和，存储延迟成为关键瓶颈。这需要稳定、低延迟的存储响应，而不仅仅是高带宽，以避免 GPU 空闲时间并维持有效的计算。例如，使用 Mingxin FX100 和 480B 模型，增加并发性显著提高了首次令牌生成时间，凸显了存储性能在高利用率 AI 工作负载中的重要性。
-
明玢FX100存储加速AI推理，助力国产替代
明玢的FX100存储解决方案为AI推理提供了显著的性能提升，特别是在信创环境下的国产替代努力中。通过专注于存储协议和数据路径，而非直接取代GPU，明玢的技术在DeepSeek 70B和32B等大模型上，于AMD MI308X和Ascend 910B等平台上进行测试时，实现了高达40%的吞吐量提升和32%的首个token时间（TTFT）缩减。该方法利用了NVMe-oF和RoCEv2等成熟的开放标准，降低了技术风险，并在AI推理存储方面提…
-
计算租赁合同需要为AI工作负载添加特定条款
本文重点介绍了计算租赁合同中针对AI工作负载的三个关键但常被忽略的条款：带宽、存储和故障时长。文章强调，网络带宽对于大型模型的推理和训练性能至关重要，直接影响端到端速度。文章还强调了除了容量之外，明确存储性能指标（详细说明读取带宽、IOPS和延迟）的重要性。最后，文章指出，没有明确故障确定、响应时间和赔偿的模糊可用性保证，实际上是没有意义的SLA。
-
LLM计算成本优化取决于动态扩展和SLA指标
优化LLM计算租赁成本需要关注动态扩展策略而非静态按需分配，尤其是在处理长上下文推理时。关键在于确保存储层能够支持弹性扩展的读取带宽需求，正如明溪科技的测试所示。除了单价，诸如首个Token时间（TTFT）、稳态吞吐量和长尾稳定性等关键服务水平协议（SLA）指标对于准确确定所需GPU数量和避免隐藏成本至关重要。
-
Clos 网络架构：AI 推理集群的成本与选型框架
Clos（或称 Fat-Tree）网络架构因其可扩展性和高带宽而成为大规模 AI 推理集群的流行选择。本文分析了 Clos 网络在拥有数千个 GPU 的集群中的成本构成，包括交换机、线缆和端口密度。文章还讨论了在全面的总体拥有成本（TCO）模型中，将运营费用与初始硬件成本一并考虑的重要性，并强调了高效存储解决方案如何间接优化网络需求。