PulseAugur
中
实时 13:26:07
实体 Dual-QK

Dual-QK

PulseAugur coverage of Dual-QK — every cluster mentioning Dual-QK across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_268807 ·

    新方法解决LLM KV缓存压缩问题,实现高效长上下文推理 · 跟踪10个来源

    多篇研究论文介绍了压缩大型语言模型(LLM)中KV缓存的新颖技术,KV缓存是高效长上下文推理的关键组成部分。这些方法旨在通过智能管理KV缓存来减少内存使用并提高推理速度。方法包括时间预取、具有专用查询和键变换的低比特量化、跨循环使用残差状态、基于注意力几何的自适应剪枝以及LLM引导的策略演化。其他策略侧重于优化驱逐时机和使用蒙特卡洛估计来预测未来令牌效用。