Fast Embeddings on GPUs

Perplexity 详解 GPU 嵌入栈，实现高效 AI 搜索

Perplexity 详细介绍了其 GPU 嵌入栈，重点关注服务其 pplx-embed 模型的基础设施。该公司工程团队强调，通过重用其 LLM 栈中的内核，他们优化了批量和在线嵌入工作负载。关键组件包括用于请求处理的 Ivy、用于调度的 Tulip 和用于模型推理的 ROSE，所有这些都旨在最大限度地提高在 Hopper 和 Blackwell 等现代 GPU 硬件上的效率。