实体
FastKV
FastKV
PulseAugur coverage of FastKV — every cluster mentioning FastKV across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
TokenGate 通过学习式 Token 修剪将 LLM 长上下文预填充速度提升高达 11.3 倍
斯坦福大学和加州大学伯克利分校的研究人员开发了 TokenGate，这是一种旨在加速具有长上下文的大型语言模型 (LLM) 预填充过程的新型模块。通过采用学习式 Token 修剪技术，TokenGate 只选择性地处理最相关的 Token，从而将首个 Token 的生成时间（time-to-first-token）速度提升高达 11.3 倍，并将峰值预填充内存使用量减少高达 3.4 倍，同时不影响准确性。该系统集成了小型 MLP 门控…
-
新的LLM KV缓存压缩方法应对安全性和效率挑战
研究人员正在开发新的方法来压缩大型语言模型（LLM）中的键值（KV）缓存，以减少内存使用并提高推理效率。AnchorKV通过偏向于不保留有害提示的token来关注安全性，而PolyKV通过对不同的Transformer层应用不同的策略和预算来优化压缩。Tangram在服务框架中实现了实用的非均匀KV缓存压缩，而BACON通过结合观察窗口注意力和最后查询证据来增强多模态KV缓存压缩。此外，TurboQuant和OSCAR代表了KV缓存量…