研究人员开发了一种新方法,以提高量化张量程序的效率,这对于在边缘设备上运行大语言模型至关重要。该方法借鉴了Halide分离算法和调度的思想,引入了编解码器来管理不同的数据表示。与现有的GGML和KleidiAI等库相比,该系统生成的内核数量显著增加,而代码量却更少。在Apple M3 Max和x86处理器上的基准测试表明,即使处理各种权重和激活格式,这些新内核在性能上也能与专用内核相媲美甚至超越。 AI
影响 使得在资源受限的边缘设备上更有效地部署大语言模型成为可能。
排序理由 该集群包含一篇详细介绍AI模型执行优化新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →