4Paradigm 和 RiseUnion 已联合发布 ModelSphere,作为 Apache 2.0 许可下的开源项目。该平台旨在统一异构 LLM 部署中的集群服务、KV 缓存和 AutoTune。ModelSphere 旨在支持一系列硬件加速器,包括来自 Ascend、Iluvatar、Moore Threads 和 Hygon DCU 的产品。 AI
影响 为跨不同硬件部署和管理大型语言模型提供了一个统一的解决方案,可能简化 AI 开发者的基础设施管理。
排序理由 LLM 服务平台的开源发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →