实体 GateSight

GateSight

PulseAugur coverage of GateSight — every cluster mentioning GateSight across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_300403 · Oct 15 · 04:00

GateSight 优化 LLM 内存，通过预测 KV 缓存效用

研究人员开发了 GateSight，一种优化混合大型语言模型 (LLM) 中 KV 缓存的新颖方法。GateSight 使用轻量级 MLP，根据 Gated DeltaNet 层的信号预测 KV 条目的未来效用，从而实现查询无关的逐出。该方法旨在在不影响准确性的情况下，减少注意力 KV 缓存的显著内存占用。使用 Qwen3.8-27B 和 Qwen3.8-Flash-Next 模型进行的实验表明，与其他的查询无关方法相比，GateSi…