实体 VarRate

VarRate

PulseAugur coverage of VarRate — every cluster mentioning VarRate across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_151862 · Jul 20 · 04:00

新方法通过提示和 KV 缓存压缩大幅降低 LLM 成本 · 2 篇论文

两篇新研究论文提出了通过优化提示缓存和 KV 缓存压缩来降低大型语言模型 (LLM) 运行成本的方法。第一篇论文《Cache-Aware Prompt Compression》提出了一种策略，将查询无关压缩与显式缓存控制相结合，以防止过度压缩，从而在各种生产工作负载上实现显著的成本降低。第二篇论文《VarRate》提出了一种无需训练的 KV 编解码器，该编解码器根据查询显著性为 token 分配可变的低秩预算，在保持准确性的同时仅有极…