PulseAugur
实时 11:21:50
实体 Autoregressive Large Language Model

Autoregressive Large Language Model

PulseAugur coverage of Autoregressive Large Language Model — every cluster mentioning Autoregressive Large Language Model across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_187376 ·

    新的 QEvict 系统通过可恢复的 KV 缓存改进 LLM 长上下文解码

    研究人员推出 QEvict,一个新颖的三层 KV 缓存管理系统,旨在改进自回归大型语言模型中的长上下文解码。与永久丢弃被认为不重要的 token 的现有方法不同,QEvict 采用了一种可恢复的驱逐策略。这种方法将高置信度窗口保持为全精度,将中间窗口存储在量化的可恢复层中,并且只删除最不重要的窗口。QEvict 旨在通过允许先前被驱逐的 token 在再次变得相关时被反量化和提升,从而保留更广泛的历史上下文,以减少注意力遗漏并增强各种…