SelectInfer框架赋能高效大语言模型在边缘设备的部署

研究人员开发了SelectInfer，一个旨在提高大语言模型（LLMs）在边缘设备上部署效率的新型框架。该系统通过选择性地加载和计算最相关的神经元，在神经元层面优化LLMs，显著降低了内存和计算需求。评估表明，SelectInfer在保持任务性能的同时，能够大幅减少资源使用，为LLMs在能力受限设备上的广泛应用铺平了道路。 AI

影响 通过减少内存和计算需求，实现了更高效的大语言模型在资源受限边缘设备的部署。

排序理由 该条目是一篇研究论文，详细介绍了用于优化大语言模型的新技术框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• Huzaifa Shaaban Kabakibo
• IArxiv
• Large Language Models
• natural language processing
• ScienceCast
• SelectInfer

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →