PulseAugur
实时 02:03:19
实体 Dettmers et al., 2022

Dettmers et al., 2022

PulseAugur coverage of Dettmers et al., 2022 — every cluster mentioning Dettmers et al., 2022 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_127666 ·

    新框架将大模型缓存大小削减 5.3 倍,提升速度

    一种名为非对称键值缓存压缩(Asymmetric Key-Value Cache Compression)的新框架已被开发出来,旨在解决具有扩展上下文窗口的大型语言模型所面临的内存带宽瓶颈问题。该方法将缓存的键(Key)和值(Value)组件的量化分离开来,否则这些组件对于大型模型来说可能会膨胀到一TB以上。通过采用全向缩放通道化旋转(Omni-Scaled Canalized Rotation, OScaR)来中和令牌范数不平衡,该…