研究人员开发了 KIWI,这是一个旨在提高现代计算工作负载中 GPU 和 CPU 之间通信效率的新框架。与将 CPU 卸载视为后备方案的现有方法不同,KIWI 将其视为主要的通信路径,实现了亚微秒级延迟和高操作速度。该框架已展示出显著的性能提升,包括在 AMD GPU 上对专家并行模型的通信延迟最多降低 2.3 倍,以及在 vLLM 系统中每输出 token 的时间最多减少 29%。 AI
影响 通过减少 GPU 和 CPU 之间的通信瓶颈来提高 AI 工作负载的性能。
排序理由 该集群包含一篇学术论文,详细介绍了用于提高硬件通信效率的新技术框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →