cumulus

IonRouter 推出具有自定义 IonAttention 引擎的 AI 推理服务

IonRouter 推出了新的推理服务，该服务专为高吞吐量和低成本而设计，并利用其专有的 IonAttention 引擎。该引擎能够将多个模型多路复用到单个 GPU 上，从而实现快速模型切换和实时流量适应。该服务支持各种开源模型和微调模型，提供按秒计费和极短的冷启动时间，适用于机器人技术和实时视频分析等应用。