PulseAugur
实时 20:38:45
实体 query, key, and value projections

query, key, and value projections

PulseAugur coverage of query, key, and value projections — every cluster mentioning query, key, and value projections across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_70263 ·

    Transformer 研究发现 QKV 投影共享可大幅减少内存使用

    研究人员调查了 Transformer 模型中三个独立投影(查询、键和值)的必要性。他们的研究发现,共享投影,特别是 Q-K=V 变体,可以在对性能影响极小的情况下显著减少 KV 缓存内存使用。这种方法,特别是与分组查询注意力结合使用时,可提供可观的内存节省,可能支持更高效的设备端推理。