实体 CacheBridge

CacheBridge

PulseAugur coverage of CacheBridge — every cluster mentioning CacheBridge across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_227044 · Aug 31 · 04:00

新研究致力于 LLM KV 缓存优化以实现高效推理 · 已追踪 10 个来源

多篇研究论文探讨了优化大型语言模型 (LLM) 的键值 (KV) 缓存的新技术，以提高推理效率并降低内存开销。这些方法包括面向 AI 加速器的动态缓存编排、NVMe SSD 外部 KV 缓存的性能表征，以及使用互补多样性指标的几何感知驱逐策略。其他方法侧重于针对 KV 缓存连接对模型进行微调，适应提示特定约束的自适应压缩框架，以及在不同上下文和模型检查点之间重用 KV 缓存的方法。一些研究还探讨了用于量化 KV 缓存的注意力加权值投影…