VLA-HWBench

新基准测试揭示边缘VLA模型的延迟瓶颈

一项新的基准测试VLA-HWBench已被开发出来，用于分析视觉-语言-动作（VLA）模型在边缘硬件上的性能。研究发现，动作生成策略对延迟的影响比模型大小更大，某些策略会导致延迟变化超过150倍。使用4位权重进行内核融合可以显著提速，但尚未广泛应用，并且优化工作可能会将瓶颈转移到CPU预处理等其他阶段。最终，要实现低延迟的边缘VLA性能，需要高效的动作生成、更广泛地采用推理优化以及具有高内存带宽和快速主机CPU的硬件。