是技术发布了 TokenFleet,一个旨在优化 AI 推理 GPU 集群利用率的分布式调度框架。该框架通过关注请求路由、跨数据中心容量协调和混合工作负载治理来提高现有计算资源的效率。关键技术包括基于缓存收益和排队成本的实例选择的 TokenPilot、跨多个数据中心协调容量的 FleetMind,以及确保满足服务水平目标的混合工作负载管理的 SLOMax。 AI
影响 该框架旨在降低 AI 推理的延迟并提高其效率,从而可能降低成本并提高 AI 服务的吞吐量。
排序理由 文章描述了一个用于优化 AI 推理的新软件框架,这是一个用于改进现有基础设施的工具。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →