实体 GQA-2

GQA-2

PulseAugur coverage of GQA-2 — every cluster mentioning GQA-2 across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_300789 · Oct 15 · 04:00

虚拟头注意力提升LLM效率和质量

研究人员推出了一种新颖的机制——虚拟头注意力（VHA），旨在解决长上下文大型语言模型中的“不可能三角”挑战，平衡KV缓存大小、计算成本和模型质量。VHA采用两种轻量级线性操作：Q Premix恢复虚拟头多样性，Linear Postmix融合头间特征。该方法将KV缓存需求降低高达4倍，训练/预填充FLOPs减少近8%，同时在各种规模下持续提升模型质量，优于标准的GQA基线。VHA可以整合到现有的GQA推理优化中，实现高效实现，而无需额…