实体
FlexServe
FlexServe
PulseAugur coverage of FlexServe — every cluster mentioning FlexServe across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
时间线
- 2026-07-03 research_milestone Researchers introduced FlexServe, a system for fast and secure LLM serving on mobile devices. 来源
最近 · 第 1/1 页 · 共 2 条
-
FlexServe 提升了移动设备上 LLM 的推理速度和安全性
研究人员开发了 FlexServe，一个旨在提高移动设备上大型语言模型 (LLM) 推理速度和安全性的新型系统。通过利用 ARM TrustZone 技术，FlexServe 为内存 (Flex-Mem) 和神经网络处理单元 (Flex-NPU) 引入了灵活的资源隔离，允许在受保护和非受保护模式之间高效切换。与现有方法相比，这种方法显著降低了 TrustZone 通常带来的开销，在首次令牌生成时间 (TTFT) 和多模型工作流的端到端…
-
FlexServe 系统提升了移动设备上 LLM 的安全性和速度
研究人员开发了 FlexServe，一个旨在提高在移动设备上运行大型语言模型 (LLM) 的安全性与速度的新型系统。该系统解决了传统基于硬件的隔离（如 ARM TrustZone）带来的挑战，后者通常会导致显著的性能开销。FlexServe 引入了一种“可恢复资源隔离”机制，允许正常操作系统在不直接访问的情况下管理安全内存和硬件组件，从而提高效率并缩短推理时间。