实体
tensorcore
tensorcore
PulseAugur coverage of tensorcore — every cluster mentioning tensorcore across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的 TPU 内核优化混合专家模型 LLM 推理
研究人员开发了 Fuse-All MoE,这是一种新颖的 TPU 内核,旨在优化混合专家(MoE)大型语言模型(LLM)的推理效率。该内核通过融合 token 收集、专家投影、门控激活和输出写入来解决数据移动和专家负载均衡中的瓶颈问题,并将专家计算中间结果保留在片上。实验表明,与现有基线相比,内核运行时间和延迟显著降低,服务吞吐量提高了高达 34.5%。
-
TPUv7 推出 SparseCore,吞吐量提升 12%,性能超越 Blackwell Ultra
TPUv7 配备了一个称为 SparseCore 的专用硬件单元,用于通过对专家 token 进行分组来管理数据移动。此优化与用于矩阵乘法的 TensorCore 结合使用时,可将吞吐量提高 12%。结合其他增强功能和更低的总体拥有成本,与 Blackwell Ultra 相比,TPU 技术提供了高达 50% 的每美元性能提升,这在 InferenceX 等基准测试中尤为明显。