研究人员开发了SmartRAG，一个新颖的设备端框架，旨在使大语言模型（LLMs）能够作为移动设备上的个人助理。该系统将智能分解为四个模块：感知（Perception）、记忆（Memory）、聚焦（Focus）和思考（Thinking），其中EvoNER用于新实体类型的持续学习，MRGraph用于在保留来源的图中存储知识。SmartRAG旨在利用量化的17亿参数骨干模型，在普通智能手机上实现具有竞争力的多跳推理性能，其表现优于许多更大的模型，同时完全离线运行并满足严格的硬件限制。 AI
影响 通过优化大语言模型在边缘硬件上的性能，使移动设备上能够拥有更强大、更私密的AI助手。
排序理由 该集群包含一篇详细介绍设备端大语言模型新框架的研究论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.14661v1 Announce Type: new Abstract: Deploying large language models (LLMs) as personal assistants on mobile devices demands privacy, low latency, and offline availability, yet the computational cost of giant models clashes with strict edge-hardware budgets. We argue t…
Deploying large language models (LLMs) as personal assistants on mobile devices demands privacy, low latency, and offline availability, yet the computational cost of giant models clashes with strict edge-hardware budgets. We argue that this tension cannot be resolved by model com…