一篇新研究论文介绍了 Tessera，这是一个旨在优化异构 GPU 集群上 AI 工作负载性能的系统。Tessera 在内核粒度上运行，提取内核间依赖关系以确保正确性，并将通信与计算重叠。评估显示，与现有方法相比，Tessera 可将服务吞吐量提高高达 2.3 倍，成本效率提高 1.6 倍，在某些情况下甚至优于同构 GPU 设置。 AI
影响 优化异构硬件上的 AI 推理，可能降低成本并提高吞吐量。
排序理由 详细介绍 AI 基础设施新系统的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
