研究人员开发了 FlexServe，一个旨在提高在移动设备上运行大型语言模型 (LLM) 的安全性与速度的新型系统。该系统解决了传统基于硬件的隔离（如 ARM TrustZone）带来的挑战，后者通常会导致显著的性能开销。FlexServe 引入了一种“可恢复资源隔离”机制，允许正常操作系统在不直接访问的情况下管理安全内存和硬件组件，从而提高效率并缩短推理时间。 AI
影响 该系统可以使更强大、更私密的 LLM 应用直接在用户设备上运行，减少对云基础设施的依赖。
排序理由 该集群包含一篇详细介绍移动设备上 LLM 服务新系统的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
