Hearth，一个新的 Kubernetes operator，旨在通过在不使用时将开源 LLM 缩减至零来降低自托管的成本。它支持 NVIDIA 以外的各种硬件加速器，包括 Ascend 芯片，并允许通过单个清单进行模型部署。虽然 Hearth 目前处于 alpha 阶段，尚未达到生产就绪状态，但它已成功演示了其在 NVIDIA GPU 上的缩减至零功能，并且正在进行 Ascend 后端验证。 AI
影响 通过优化 GPU 利用率，降低自托管 LLM 的运营成本。
排序理由 这是一个用于管理 AI 基础设施的新软件工具发布，而不是前沿模型发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
