Anastasiia Filippova

苹果研究人员提出缓存共享以降低 LLM 服务成本

Apple Machine Learning Research 发布了一篇论文，详细介绍了一种名为 Stochastic KV Routing 的新方法，以减小 transformer 语言模型的内存占用。该技术侧重于优化 KV 缓存的深度维度，而不是仅仅进行时间压缩或淘汰。通过训练层随机关注先前层的 KV 状态，模型能够适应各种缓存共享策略而不会丢失信息，有可能在显著降低内存使用量的同时保持或提高性能。