marginal message passing

新方法在边缘GPU上加速贝叶斯推理，速度提升高达5倍

研究人员开发了一种新的面向硬件的方法，以加速嵌入式GPU上的贝叶斯推理，解决了计算成本问题，该成本通常会阻碍其在资源受限的边缘设备上的部署。该方法通过重构内存布局和采用稀疏数组表示来优化张量收缩，这是变分消息传递算法中的一个关键瓶颈。该优化已应用于隐马尔可夫模型的算法，在NVIDIA Jetson Orin AGX上实现了高达5倍的速度提升，典型增益为2-2.5倍，同时保持了数值精度。