SlackTier

LLM 查找表针对慢速存储进行优化，减少内存使用

研究人员开发了一种方法，通过利用按层预取截止时间来优化像 DeepSeek-V4.1 这样的 LLM 的大型查找表的放置。这种方法允许将表存储在 NVMe 等慢速存储或远程内存上，在不显著影响性能的情况下大大减少主机内存需求。研究表明，通过智能管理读取时间和利用会话重用等技术，可以大幅削减内存使用量，为 KV 缓存等其他关键功能释放资源，从而提高吞吐量并降低延迟。