PulseAugur
中
实时 15:34:50
English(EN) Cache-Aware Prompt Compression:A Two-Tier Cost Model for LLM API Caching

新方法通过提示和 KV 缓存压缩大幅降低 LLM 成本 · 2 篇论文

作者 PulseAugur 编辑部 · [3 个来源] ·

两篇新研究论文提出了通过优化提示缓存和 KV 缓存压缩来降低大型语言模型 (LLM) 运行成本的方法。第一篇论文《Cache-Aware Prompt Compression》提出了一种策略，将查询无关压缩与显式缓存控制相结合，以防止过度压缩，从而在各种生产工作负载上实现显著的成本降低。第二篇论文《VarRate》提出了一种无需训练的 KV 编解码器，该编解码器根据查询显著性为 token 分配可变的低秩预算，在保持准确性的同时仅有极小的性能下降，并在长上下文 LLM 上优于现有方法。 AI

影响 这些技术可以显著降低 LLM 部署的运营成本，使先进的 AI 更易于访问和负担得起。

排序理由 两篇在 arXiv 上发表的学术论文，提出了用于降低 LLM 推理成本的新颖方法。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →

新方法通过提示和 KV 缓存压缩大幅降低 LLM 成本 · 2 篇论文

报道来源 [3]

  1. arXiv cs.CL TIER_1 English(EN) · Chuheng Du, Junyi Chen, Hanlin Tang, Kan Liu, Tao Lan, Lin Qu, Chaoyue Niu, Shengzhong Liu, Guihai Chen, Fan Wu ·

    C$^2$KV：用于高效LLM推理的压缩和可组合KV缓存重用

    arXiv:2607.17715v1 Announce Type: new Abstract: Long-context inference is central to modern large language model (LLM) applications such as retrieval-augmented generation and multi-document reasoning. To mitigate the growing inference cost, recent work has explored key-value (KV)…

  2. arXiv cs.AI TIER_1 English(EN) · Yan Song ·

    缓存感知提示压缩：LLM API缓存的双层成本模型

    arXiv:2607.15516v1 Announce Type: cross Abstract: Production LLM deployments combine two cost-reduction primitives: prompt caching (a discounted rate for re-used token prefixes) and prompt compression (fewer tokens sent). The compression literature has standardized on query-aware…

  3. arXiv cs.CL TIER_1 English(EN) · Shahrzad Esmat, Dhawal Shah, Ali Jannesari ·

    VarRate：面向长上下文大语言模型的无训练可变速率KV缓存压缩

    arXiv:2607.15498v1 Announce Type: new Abstract: The key-value (KV) cache is the main memory bottleneck in long-context large language model (LLM) inference. Two leading training-free families are both structurally limited: token-selection methods (SnapKV, Ada-KV) score importance…

相关实体

相关话题