实体 InnerQ

InnerQ

PulseAugur coverage of InnerQ — every cluster mentioning InnerQ across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_39746 · Mar 4 · 00:00

新研究通过先进的压缩和存储技术解决大语言模型KV缓存瓶颈

2026年5月发表的多篇研究论文介绍了优化大语言模型键值（KV）缓存的新技术，以解决内存和延迟瓶颈。这些方法包括将KV缓存卸载到S3等对象存储（ObjectCache），采用三向令牌路由（VECTOR）等高级压缩策略，以及使用辅助模型进行选择性KV缓存重新计算（CacheClip）。其他方法侧重于硬件感知量化（InnerQ, OCTOPUS）和服务感知自适应压缩（KVServe），以提高效率并降低解码延迟，尤其适用于长上下文推理和检索…