IonRouter 推出了名为 IonAttention 的新推理堆栈，旨在通过在单个 GPU 上复用模型来实现高吞吐量和低成本，兼容 NVIDIA Grace Hopper。另外，RunAnywhere 发布了 RCLI，这是一款 macOS 的设备端语音 AI，使用其专有的 MetalRT 引擎在 Apple Silicon 上本地运行推理，提供本地 RAG 和 VLM 等功能。 AI
影响 这些发布为优化云端和设备端环境中的 AI 推理成本和性能提供了新的选择。
排序理由 该集群描述了用于 AI 推理的新产品和基础设施，但并非新模型发布或重大的行业范围转变。
在 HN — AI infrastructure stories 阅读 →
- Apple Silicon
- GPT-OSS
- Grace Hopper
- IonAttention
- IonRouter
- llama.cpp
- MetalRT
- MiniMax
- MoonShot AI
- NVIDIA
- RunAnywhere
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
