NeuroBrix 发布了一款新的推理引擎,旨在运行 9 个家族的 49 个模型。该引擎采用基于 Triton 的架构和自有的张量库,摒弃了 PyTorch。它具有认证内核以提高性能,并支持 Linux、Windows 和 macOS 上的 NVIDIA、AMD、Intel 和 Apple GPU 等广泛硬件。 AI
影响 这款新引擎通过提供跨不同硬件和模型家族的统一解决方案,有可能简化 AI 模型的部署。
排序理由 这是一个推理引擎的发布,它是一个运行 AI 模型的工具,而不是核心前沿模型发布或重大的行业事件。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →