GraphTok

新的 GPU 分词器 GraphTok 大幅降低 LLM 服务延迟

研究人员开发了 GraphTok，这是一种新颖的基于 GPU 的分词器，旨在加速 Agentic 大型语言模型 (LLM) 的服务。该系统将可能成为长上下文和频繁更新上下文瓶颈的分词过程从 CPU 卸载到 GPU。GraphTok 实现了显著的加速，在 3.2 毫秒内编码一百万个 token，其性能比现有的基于 CPU 的分词器高出数倍。这种优化提高了 LLM 的服务能力，使单个前端能够以更低的延迟维持更高的流量负载。