实体 KV ablation

KV ablation

PulseAugur coverage of KV ablation — every cluster mentioning KV ablation across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_252255 · Sep 14 · 04:00

新论文发现视觉 KV 缓存保留与任务无关

一项新的研究论文挑战了视觉语言模型中的视觉键值（KV）缓存保留任务相关信息的假设。研究发现，保留在 KV 缓存中的视觉内容的数量在很大程度上与任务无关，并且与信息是否被因果用于回答问题无关。虽然注意力机制与因果利用显示出微弱的相关性，但像素可解码的可重构性被证明是 KV 缓存压缩的一个糟糕信号，一个模型保留的任务无关内容比另一个模型多 2.7 倍。