Yilong Li

新系统通过实现并发加速器使用，优化了边缘 SoC 上的 VLM 推理

研究人员开发了一个名为“name”的新系统，旨在优化边缘片上系统 (SoC) 上的视觉语言模型 (VLM) 推理。该系统通过使 CPU、GPU 和 NPU 等异构加速器能够并发工作，解决了当前 VLM 运行时效率低下的问题。“name”将流的上下文与各个引擎的状态分开，允许任何引擎通过重用或重建该状态来继续处理，从而提高吞吐量并降低延迟。