AMD ZCU102

ViM-Q 赋能FPGA上高效的Vision Mamba模型推理

研究人员开发了ViM-Q，一种专为加速FPGA上Vision Mamba (ViM) 模型推理而设计的新型算法-硬件协同设计。该方法解决了量化动态激活离群值和为FPGA架构适配SSM计算的挑战。ViM-Q集成了定制的4位权重量化和一个包含线性引擎和流水线SSM引擎的硬件加速器，能够为多样化的ViM模型进行运行时配置。在AMD ZCU102 FPGA上的测试表明，与GPU基线相比，在低批量推理方面实现了显著的速度提升和能效增益。