PulseAugur
中
实时 13:56:11
English(EN) VTC: DNN Compilation with Virtual Tensors for Data Movement Elimination

VTC框架消除了深度神经网络编译中的数据移动

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了VTC，一个旨在消除不必要数据移动的新型深度神经网络（DNN）编译框架。该框架引入了虚拟张量的概念，通过索引映射而非全局内存的物理传输来跟踪数据移动。VTC旨在解决计算和内存延迟之间日益扩大的差距，这是当前大型语言模型等DNN工作负载的关键问题。评估显示，VTC的性能可超越现有ML编译器高达1.93倍，并实现显著的推理内存节省。 AI

影响 该框架通过减少内存瓶颈，可以显著提高运行大型语言模型和其他DNN的效率。

排序理由 该集群包含一篇学术论文，详细介绍了DNN编译的新技术框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

VTC框架消除了深度神经网络编译中的数据移动

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Muyan Hu, Ahan Gupta, Jiachen Yuan, Vima Gupta, Taeksang Kim, Xin Xu, Janardhan Kulkarni, Ofer Dekel, Vikram Adve, Charith Mendis ·

    VTC: DNN Compilation with Virtual Tensors for Data Movement Elimination

    arXiv:2604.09558v2 Announce Type: replace-cross Abstract: With the widening gap between compute and memory operation latencies, data movement optimizations have become increasingly important for DNN compilation. Current optimizations such as layout transformations and operator fu…

相关实体

相关话题