经过克服 FastRPC 的挑战后,Radxa Dragon Q6A 上的神经网络处理单元 (NPU) 已成功解锁。该 NPU 现在可以直接在 Hexagon HTP 上使用 Genie 和 QAIRT 运行 Llama 3.2 1B,CPU 的作用很小。此设置在重启后会自动重新启动并恢复运行,这表明该设备上的 AI 应用取得了令人鼓舞的进展。 AI
影响 能够更有效地在设备上执行 AI 模型,可能减少某些任务对云处理的依赖。
排序理由 该项目详细介绍了在硬件设备上解锁和利用 NPU 运行特定 AI 模型的技术成就。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →