实体
AWS EFA
AWS EFA
PulseAugur coverage of AWS EFA — every cluster mentioning AWS EFA across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
vLLM 引入基于推送的 KV 传输以降低 LLM 推理延迟
vLLM，一个用于大型语言模型推理的开源引擎，引入了一种基于推送的键值（KV）缓存传输机制，以提高分离推理设置的性能。这种新方法旨在通过优化 KV 缓存从预填充到解码实例的传输来减少首次令牌时间（TTFT）和每输出令牌时间（TPOT）。在 AWS EC2 P5en 实例上进行的基准测试显示，与之前的基于拉取的方法相比，Qwen3-32B 模型的 TTFT 提高了 3 倍，TPOT 提高了 30%。
-
新工具和研究致力于 GPU AI 工作负载的优化
多篇研究论文和一个新的开源工具解决了在 GPU 上优化 AI 工作负载的挑战。COMPASS-ABS 旨在减少深度学习训练共享 GPU 集群中的碎片化，提高资源利用率和作业完成时间。研究人员还开发了自适应框架，如用于商品 GPU 上高效长上下文推理的 Tri-Metric Router 和使用数据流不变性进行代理 GPU 优化的 Ave。此外，mKernel 和 AttnFuse 分别专注于为多 GPU 系统和注意力机制创建快速、融合…