PulseAugur
中
实时 21:49:31
实体 Model Serving Platform

Model Serving Platform

PulseAugur coverage of Model Serving Platform — every cluster mentioning Model Serving Platform across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. SIGNIFICANT · CL_23577 ·

    Superhuman 和 Databricks 构建 200K QPS AI 推理平台

    Superhuman 和 Databricks 的工程师合作构建了一个高吞吐量的推理平台，能够处理每秒超过 200,000 个查询。这项联合工作使 Superhuman 的服务堆栈现代化，从自定义的 vLLM 设置迁移到 Databricks 的 Model Serving Platform。优化后的系统实现了每 GPU 吞吐量提高 60%，并保持了亚秒级的 P99 延迟，使 Superhuman 能够专注于产品开发。