PostSlate

使用Vulkan后端简化边缘设备上的ML推理

PostSlate的一名软件工程师详细介绍了他们在生产边缘设备上实现厂商无关的机器学习推理的经验。为了实现跨NVIDIA、AMD和Apple Silicon等各种硬件的广泛兼容性，他们选择了ncnn的Vulkan后端，该后端绕过了CUDA等厂商特定的解决方案。这种方法显著缩短了诸如面部检测和嵌入等任务的推理时间，并通过利用现有的Vulkan驱动程序简化了部署。