Orange Pi AIPro

开发者为 Orange Pi 上的 MiniCPM-V 打造自定义 C++ 引擎

一位开发者为 MiniCPM-V 4.6 模型创建了一个自定义 C++ 推理引擎，专门针对搭载 Ascend 310B NPU 的 Orange Pi AIPro。这种底层方法绕过了标准的重型框架，以优化在边缘设备的性能。通过为矩阵乘法和其他关键操作实现优化内核，该自定义引擎实现了显著的加速，将每秒令牌生成速率从 2.88 几乎翻倍到 5.90。