PulseAugur
中
实时 11:56:16
实体 Key-Value (KV) cache

Key-Value (KV) cache

PulseAugur coverage of Key-Value (KV) cache — every cluster mentioning Key-Value (KV) cache across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_261441 ·

    新框架将经济效用与AI模型缓存统一起来

    一篇新论文提出了一个理论框架,将边际效用的经济学原理与诸如矩阵分解和Transformer语言模型中的键值(KV)缓存等机器学习概念统一起来。该框架提出了一个保留顶部维度(基于其特征值超过影子价格)的分配规则。该论文将其应用于地理挖掘文档提取,详细介绍了多遍推理协议和逐层TIES模型合并过程。在实践中,一个拥有1120万参数的分类器在铀勘探语料库上实现了90.0%的准确率,同时具有低延迟和低成本;一项诊断揭示并纠正了一种退化的合并模式。

  2. TOOL · CL_234195 ·

    vLLM 的 PagedAttention 优化 LLM GPU 内存使用

    vLLM 推出了 PagedAttention,这是一种管理大型语言模型 (LLM) GPU 内存的新颖方法,可显著减少浪费。传统的 LLM 服务框架通常会为键值 (KV) 缓存过度分配 GPU 内存,导致效率低下。PagedAttention 受操作系统虚拟内存的启发,将 KV 缓存划分为更小的块,允许它们非连续地存储在 GPU 内存中。这种方法可以缓解过度配置、内部碎片化和外部碎片化造成的内存浪费,有可能节省 60-80% 的 K…