ShiftAddLLM

新的VQVLA框架通过动态量化提升VLA模型推理速度

研究人员开发了VQVLA，一个旨在加速具身AI应用中视觉-语言-动作（VLA）模型推理的新型框架。该框架采用一种名为MotionVQ的运动感知向量化技术，该技术根据机器人的执行状态动态调整精度，从而在不显著影响任务成功率的情况下减少内存使用。此外，VQVLA还采用了一种合并质心向量化的GEMM方法，通过复用质心和聚合空间数据来优化计算。在定制加速器上实现时，VQVLA与现有的GPU和专用硬件解决方案相比，展现了显著的速度提升。