实体 KVPress

KVPress

PulseAugur coverage of KVPress — every cluster mentioning KVPress across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_167283 · Jul 28 · 04:00

新框架将语言模型记忆驱逐重塑为估计问题

研究人员引入了一个新的语言模型工作记忆管理框架，将驱逐决策视为一个估计问题。这种方法被称为“驱逐即估计”，旨在通过考虑存储项未来重用的可能性来优化内存使用。一种名为 RMM 的提议策略是对 StreamingLLM 和 H2O 等现有方法的泛化，在标准基准测试上表现相当，但在内存重用更可预测和内生时显示出潜在优势。