一项新的基准测试VLA-HWBench已被开发出来,用于分析视觉-语言-动作(VLA)模型在边缘硬件上的性能。研究发现,动作生成策略对延迟的影响比模型大小更大,某些策略会导致延迟变化超过150倍。使用4位权重进行内核融合可以显著提速,但尚未广泛应用,并且优化工作可能会将瓶颈转移到CPU预处理等其他阶段。最终,要实现低延迟的边缘VLA性能,需要高效的动作生成、更广泛地采用推理优化以及具有高内存带宽和快速主机CPU的硬件。 AI
影响 识别边缘AI推理的关键瓶颈,指导硬件和软件优化,以实现实时机器人应用。
排序理由 该集群包含一篇学术论文,详细介绍了新的基准测试以及对边缘硬件上AI模型性能的分析。[lever_c_demoted from research: ic=1 ai=1.0]
- AMD Ryzen AI Max+ PRO 395
- central processing unit
- GR00T-N1.7
- host CPU
- Jetson
- NVIDIA Jetson AGX Thor
- PyTorch
- VLA-HWBench
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →