Google Cloud 与 Inferact 已合作,将张量处理单元 (TPU) 集成到 vLLM 项目中,作为其主要资源。此次合作旨在统一双方的工程努力,增强 vLLM 为开放模型提供服务的能力,并优化其作为代理式应用程序生产引擎的性能。 AI
影响 此次合作旨在提高服务开源大型语言模型的效率和可访问性,可能加速其在生产环境中的应用。
排序理由 云服务提供商与特定软件项目之间的合作,以优化硬件集成。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →