研究人员开发了 LazyWeights,这是一种在内存有限的边缘设备上优化大型语言模型 (LLM) 的新颖方法。该技术使用霍夫曼编码压缩 LLM 权重,在特定的困惑度预算内将模型大小减少多达 31.4%。LazyWeights 按需解码这些压缩权重,从而无需更改 GPU 内核,并显著降低了 DRAM 带宽要求。在 Jetson Nano 和 Orin Nano Super 等设备上进行的测试表明,与现有方法相比,每 token 的延迟和能效都有了显著提高。 AI
影响 使更强大的 LLM 能够在资源受限的边缘设备上高效运行,从而扩展了其适用性。
排序理由 该集群包含一篇学术论文,详细介绍了在边缘设备上优化 LLM 的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- Arnab Sanyal
- Jetson Nano
- Jetson Orin Nano Super
- LazyWeights
- mistral:7b
- Phi-3 Mini
- SmolLM-1.7B
- Zynq UltraScale+ FPGA
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →