ZML 发布了一个新的生产推理栈,旨在独立于特定硬件运行 AI 工作负载。该系统旨在将任何 AI 模型直接编译到 NVIDIA、AMD、TPU 或 Trainium 加速器,而无需重写代码。ZML 通过直接编译到硬件并避免 Python 运行时或隐藏状态抽象来强调性能和可预测性。 AI
影响 通过将 AI 模型与其特定硬件解耦,实现更广泛的模型部署,可能降低成本并提高灵活性。
排序理由 这是 AI 基础设施工具的产品发布,而非前沿模型发布或重大行业事件。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →