DanLing NestedTensor

DanLing NestedTensor 通过 PyTorch 抽象提高了深度学习效率

研究人员推出了 DanLing NestedTensor，这是一种用于 PyTorch 的新型张量抽象，旨在更有效地处理深度学习中可变大小的输入。这种抽象使多不规则结构成为张量本身的固有属性，减少了填充造成的计算浪费并提高了性能。基准测试显示，与传统的填充方法相比，对于包括 BERT 和 FCN 主干在内的各种深度学习模型，速度显著加快，并且在高变化批次中内存分配明显减少。