实体 RAQ-MLA

RAQ-MLA

PulseAugur coverage of RAQ-MLA — every cluster mentioning RAQ-MLA across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_324267 · Oct 27 · 04:00

新的RAQ-MLA方法优化LLM注意力缓存以提高容量

研究人员开发了RAQ-MLA，一种新颖的量化方法，旨在优化大型语言模型中的多头潜在注意力（MLA）缓存。与以前的方法不同，RAQ-MLA考虑了MLA缓存中潜在张量和位置键的不同作用，这对于在低比特宽度下保持准确性至关重要。这种方法可以将KV缓存显著压缩到每个元素约2.5比特，容量增加6.5倍，同时在多个MLA模型的推理和编码任务上表现出最小的性能损失。