English(EN) Placing LLM Lookup Tables by Per-Layer Prefetch Deadlines

LLM 查找表针对慢速存储进行优化，减少内存使用

作者 PulseAugur 编辑部 · [1 个来源] · 2026-11-11 05:00

研究人员开发了一种方法，通过利用按层预取截止时间来优化像 DeepSeek-V4.1 这样的 LLM 的大型查找表的放置。这种方法允许将表存储在 NVMe 等慢速存储或远程内存上，在不显著影响性能的情况下大大减少主机内存需求。研究表明，通过智能管理读取时间和利用会话重用等技术，可以大幅削减内存使用量，为 KV 缓存等其他关键功能释放资源，从而提高吞吐量并降低延迟。 AI

影响能够显著减少 LLM 服务的内存占用，可能降低硬件成本并提高部署可行性。

排序理由详细介绍 LLM 基础设施新颖技术方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 37 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 详细介绍 LLM 基础设施新颖技术方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, paper; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Wen Huang, Jack Liu · 2026-11-11 05:00

按层预取截止时间放置 LLM 查找表

arXiv:2611.13413v1 Announce Type: cross Abstract: DeepSeek-V4.1's 203 GB of Engram n-gram tables sit in host DRAM today, taking 190 of the 223 GiB a 4-GPU serving process uses. Row indices depend only on input tokens, so reads can start with each step and overlap earlier layers. …

本文如何被排名

报道来源 [1]

按层预取截止时间放置 LLM 查找表

相关实体

相关话题