FastRPC

Radxa Dragon Q6A NPU 已解锁以运行 Llama 3.2 1B 模型

Radxa Dragon Q6A 单板计算机的神经网络处理单元 (NPU) 已成功解锁，可运行 Llama 3.2 1B 模型。这项成就，是在使用 Genie 和 QAIRT 等工具进行了大量努力之后实现的，与在 CPU 上运行模型相比，可以实现更快的响应时间。NPU 加速现已稳定，系统会在重启后自动恢复服务。