Superhuman 和 Databricks 的工程师合作构建了一个高吞吐量的推理平台，能够处理每秒超过 200,000 个查询。这项联合工作使 Superhuman 的服务堆栈现代化，从自定义的 vLLM 设置迁移到 Databricks 的 Model Serving Platform。优化后的系统实现了每 GPU 吞吐量提高 60%，并保持了亚秒级的 P99 延迟，使 Superhuman 能够专注于产品开发。 AI
影响 展示了用于 LLM 服务的高级基础设施扩展和优化技术，可能为其他组织降低成本并提高延迟。
排序理由 这描述了两个公司之间重大的基础设施优化和合作，以实现高性能的 AI 服务平台。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
