实体
IonAttention
IonAttention
PulseAugur coverage of IonAttention — every cluster mentioning IonAttention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
IonRouter 推出具有自定义 IonAttention 引擎的 AI 推理服务
IonRouter 推出了新的推理服务，该服务专为高吞吐量和低成本而设计，并利用其专有的 IonAttention 引擎。该引擎能够将多个模型多路复用到单个 GPU 上，从而实现快速模型切换和实时流量适应。该服务支持各种开源模型和微调模型，提供按秒计费和极短的冷启动时间，适用于机器人技术和实时视频分析等应用。
-
IonRouter 和 RunAnywhere 发布新 AI 推理和设备端解决方案
IonRouter 推出了名为 IonAttention 的新推理堆栈，旨在通过在单个 GPU 上复用模型来实现高吞吐量和低成本，兼容 NVIDIA Grace Hopper。另外，RunAnywhere 发布了 RCLI，这是一款 macOS 的设备端语音 AI，使用其专有的 MetalRT 引擎在 Apple Silicon 上本地运行推理，提供本地 RAG 和 VLM 等功能。