PulseAugur
实时 11:51:22
中文(ZH) 不打价格战,把 Token 工厂建在国产硬件上

华为云发布AI基础设施,Token生成低至10毫秒

华为云发布了专为Agentic AI设计的全新基础设施,其“大模型工厂”能够实现10毫秒以内的Token生成。该系统整合了通用和智能计算资源,算力利用率提升超过30%,并为AI Agent提供百亿亿字节(Petabyte)级内存空间。该平台还包含ModelArts Next,一个全新的训练和推理平台,可自动将请求路由至15个以上SOTA模型中的最优解,平均成本降低20%。此举依托华为昇腾生态,表明国产算力在主流大模型上可实现媲美性能,例如DeepSeek模型在其硬件上部署的表现。 AI

影响 该基础设施旨在加速AI Agent的开发和部署,有望降低企业AI应用的成本并提高效率。

排序理由 主要科技公司发布新的AI基础设施平台。[lever_c_demoted from significant: ic=1 ai=0.7]

在 36氪 (36Kr) 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. 36氪 (36Kr) TIER_1 中文(ZH)

    Don't engage in price wars, build the Token factory on domestic hardware

    要达到 Agentic Infra的建设目标,华为云端出了一整套底层设施。 而要具体拆解华为云所定义的Agentic Infra,则包括四个方面:高效的Token 工厂、可持续学习、通智一体化调度、安全自治,华为云也对应发布了四款新品。 最核心的是 AICS 灵衢智算集群。它基于灵衢网络,支持10万卡级集群规模,总算力200EFLOPS,把 Token 生成时延压到10毫秒以内,千卡每秒吞吐达到500万 Token,在线服务可用性99.95%——华为云称之为“Token 工厂”。 而配套的 CCE Volcano Next 调度引擎,则通过“训推共池+碎