VKORE

新软件支持在仅推理NPU上训练Transformer

VIDRAFT开发了VKORE，这是一个旨在支持在仅推理NPU上训练Transformer模型的软件层，挑战了行业内将训练仅限于GPU的常规做法。据报道，这项创新在现有NPU硬件上将单用户推理速度提高了3.8倍，服务器吞吐量提高了4.1倍。此外，VKORE支持在这些NPU上进行LoRA训练，与标准的PyTorch精度达到0.9999，速度比同一服务器上的CPU快约170倍，并且在同等硬件上达到了Nvidia B200约54%的吞吐量。