一篇新近发表在arXiv上的调查论文详细介绍了支持将大型语言模型(LLM)部署到资源受限的边缘设备的最新技术。该论文强调,尽管LLM提供了显著的AI能力,但其巨大的资源需求历来限制了它们在移动和边缘硬件上的使用。软件优化和专用硬件的最新进展正使边缘部署日益可行,带来了低延迟、降低成本和增强个性化等好处。 AI
影响 通过解决资源限制,使得在消费设备上更广泛地采用先进的AI能力成为可能。
排序理由 该集群包含一篇发表在arXiv上的调查论文,详细介绍了LLM部署技术。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Edge devices and associated networks utilising microservices
- Gotit.pub
- Hugging Face
- large-language models
- mobile phone
- ScienceCast
- software optimizations
- specialized hardware
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →