实体 SAM-KV

SAM-KV

PulseAugur coverage of SAM-KV — every cluster mentioning SAM-KV across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_324686 · Oct 27 · 04:00

KV Packet 框架通过无重计算缓存，大幅降低 LLM 推理延迟

研究人员推出 KV Packet，一个旨在提高大型语言模型 (LLM) 中键值 (KV) 缓存效率的新颖框架。该方法将缓存的文档视为不可变的“数据包”，并增强了可训练的软 token 适配器，这些适配器经过训练，可以在不进行重计算的情况下弥合上下文不连续性。在 Llama-3.1 和 Qwen-3 等模型上的实验表明，与 CacheBlend、EPIC 和 SAM-KV 等现有技术相比，KV Packet 在保持可比性能的同时，显著降…