PulseAugur
中
实时 07:06:29
实体 tensorcore

tensorcore

PulseAugur coverage of tensorcore — every cluster mentioning tensorcore across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_360348 ·

    新的 TPU 内核优化混合专家模型 LLM 推理

    研究人员开发了 Fuse-All MoE,这是一种新颖的 TPU 内核,旨在优化混合专家(MoE)大型语言模型(LLM)的推理效率。该内核通过融合 token 收集、专家投影、门控激活和输出写入来解决数据移动和专家负载均衡中的瓶颈问题,并将专家计算中间结果保留在片上。实验表明,与现有基线相比,内核运行时间和延迟显著降低,服务吞吐量提高了高达 34.5%。

  2. RESEARCH · CL_242661 ·

    TPUv7 推出 SparseCore,吞吐量提升 12%,性能超越 Blackwell Ultra

    TPUv7 配备了一个称为 SparseCore 的专用硬件单元,用于通过对专家 token 进行分组来管理数据移动。此优化与用于矩阵乘法的 TensorCore 结合使用时,可将吞吐量提高 12%。结合其他增强功能和更低的总体拥有成本,与 Blackwell Ultra 相比,TPU 技术提供了高达 50% 的每美元性能提升,这在 InferenceX 等基准测试中尤为明显。