PulseAugur
实时 06:37:02
实体 mzCache

mzCache

PulseAugur coverage of mzCache — every cluster mentioning mzCache across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_231641 ·

    新的设备端 LLM 内存系统大幅缩短移动推理时间

    研究人员开发了 mzCache,这是一个设备端 LLM 推理系统,旨在有效管理多任务移动环境中的内存。该系统解决了在应用切换过程中操作系统进行内存驱逐的问题,通常会导致恢复缓慢或重新计算。mzCache 将 LLM 内存划分为细粒度的共享缓冲区,允许部分驱逐和恢复,并支持并发跨处理器访问,同时利用混合交换和后向输出驱逐策略实现低延迟恢复。mzCache 作为一款 Android 应用实现,与基于存储的局部卸载方法相比,已证明其首次令牌…