研究人员开发了 GraphTok，这是一种新颖的基于 GPU 的分词器，旨在加速 Agentic 大型语言模型 (LLM) 的服务。该系统将可能成为长上下文和频繁更新上下文瓶颈的分词过程从 CPU 卸载到 GPU。GraphTok 实现了显著的加速，在 3.2 毫秒内编码一百万个 token，其性能比现有的基于 CPU 的分词器高出数倍。这种优化提高了 LLM 的服务能力，使单个前端能够以更低的延迟维持更高的流量负载。 AI
影响 通过减少分词瓶颈来加速 LLM 服务，有可能提高吞吐量并降低实时应用程序的延迟。
排序理由 该项目是一篇研究论文，详细介绍了 LLM 服务基础设施的新技术方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
