MetalRT

IonRouter 和 RunAnywhere 发布新 AI 推理和设备端解决方案

IonRouter 推出了名为 IonAttention 的新推理堆栈，旨在通过在单个 GPU 上复用模型来实现高吞吐量和低成本，兼容 NVIDIA Grace Hopper。另外，RunAnywhere 发布了 RCLI，这是一款 macOS 的设备端语音 AI，使用其专有的 MetalRT 引擎在 Apple Silicon 上本地运行推理，提供本地 RAG 和 VLM 等功能。