PulseAugur
中
实时 05:45:18
实体 py-kvcache

py-kvcache

PulseAugur coverage of py-kvcache — every cluster mentioning py-kvcache across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_314040 ·

    LLM 的 NVMe KV 缓存卸载：带宽计算与模型大小影响

    将 LLM 的 KV 缓存卸载到 NVMe 驱动器仅在给定提示长度、模型大小和 GPU 的情况下，驱动器的持续带宽超过重新计算成本时才有利。一项对 Llama 3.2 3B 模型的研究表明，随着提示长度的增加，盈亏平衡带宽会显著降低，对于更长的上下文，更快的 NVMe 驱动器变得更具优势。由于其每 token 的 KV 字节增长速度慢于其预填充计算需求，因此更大的模型通常从卸载中受益更多。
  2. RESEARCH · CL_227044 ·

    新研究致力于 LLM KV 缓存优化以实现高效推理 · 已追踪 10 个来源

    多篇研究论文探讨了优化大型语言模型 (LLM) 的键值 (KV) 缓存的新技术，以提高推理效率并降低内存开销。这些方法包括面向 AI 加速器的动态缓存编排、NVMe SSD 外部 KV 缓存的性能表征，以及使用互补多样性指标的几何感知驱逐策略。其他方法侧重于针对 KV 缓存连接对模型进行微调，适应提示特定约束的自适应压缩框架，以及在不同上下文和模型检查点之间重用 KV 缓存的方法。一些研究还探讨了用于量化 KV 缓存的注意力加权值投影…