TileRT AI

TileRT AI 提升 NVIDIA Blackwell GPU 上的 LLM 解码交互性

TileRT AI 的新技术 TileRT 承诺显著提升 NVIDIA Blackwell GPU 上大型语言模型的解码交互性。通过将模型静态编译为持久化的 Engine Kernel，TileRT 旨在克服传统 GPU 编程模型固有的延迟问题。这项创新有望在相同的每 token 成本下，将解码交互性提高 1.9 倍，并可能影响 Groq、Cerebras 和 SambaNova 等竞争对手。