Electronic Times

VIDRAFT 推出双 LLM 服务引擎，兼顾 GPU 吞吐量和 CPU 覆盖范围

VIDRAFT 开发了两款不同的语言大模型服务引擎，分别针对不同的优化目标。VKAE 是一款内核级加速引擎，旨在最大化 GPU 上的吞吐量，在多请求场景下性能提升高达 23.4 倍，速度超过 10,000 tokens/秒。相比之下，VKUE 通过优化内存带宽而非原始计算能力，使得一个 34.7B 参数的模型能够在包括 CPU 在内的各种硬件上运行，适用于受监管或本地部署的工作负载。