English(EN) mzCache: On-Device LLM Memory Management under Multitasking

新的设备端 LLM 内存系统大幅缩短移动推理时间

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-02 04:00

研究人员开发了 mzCache，这是一个设备端 LLM 推理系统，旨在有效管理多任务移动环境中的内存。该系统解决了在应用切换过程中操作系统进行内存驱逐的问题，通常会导致恢复缓慢或重新计算。mzCache 将 LLM 内存划分为细粒度的共享缓冲区，允许部分驱逐和恢复，并支持并发跨处理器访问，同时利用混合交换和后向输出驱逐策略实现低延迟恢复。mzCache 作为一款 Android 应用实现，与基于存储的局部卸载方法相比，已证明其首次令牌时间（Time-to-First-Token）缩短了 2.1-5.5 倍。 AI

影响通过减少多任务场景下的延迟，增强了设备端 LLM 的性能。

排序理由该项目描述了一个新颖的系统及其在研究论文中提出的性能评估。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 30 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该项目描述了一个新颖的系统及其在研究论文中提出的性能评估。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Hongseung Yu, Minsung Kim, Jongseok Park, Kyunghan Lee · 2026-09-02 04:00

mzCache：多任务处理下的设备端 LLM 内存管理

arXiv:2609.01338v1 Announce Type: cross Abstract: On-device mobile Large Language Model (LLM) inference is gaining significant attention. However, mobile devices operate in highly dynamic multitasking environments where users frequently switch between applications. This creates m…

本文如何被排名

报道来源 [1]

mzCache：多任务处理下的设备端 LLM 内存管理

相关实体

相关话题