iPhone 17 Pro 上的端侧大模型性能测试表明，虽然 GPU 在初始生成速度上占优，但它们会迅速过热并降频。苹果的 Neural Engine 虽然启动较慢，但由于功耗显著降低，在长时间内能保持更一致的解码速率。这表明，对于需要持续大模型运行的应用，Neural Engine 是更高效且最终更快的选择，而 GPU 更适合快速、爆发式的交互。 AI
影响 Neural Engine 的持续性能优势表明，为需要长时间运行任务的移动应用优化大模型部署。
排序理由 移动硬件上大模型性能的基准分析。[lever_c_demoted from research: ic=1 ai=0.7]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
