实体 LongBench-EN

LongBench-EN

PulseAugur coverage of LongBench-EN — every cluster mentioning LongBench-EN across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_106564 · Jun 21 · 08:48

新方法通过KV缓存压缩和量化提升LLM效率

研究人员开发了新的方法来提高大型语言模型（LLMs）的效率，方法是压缩它们的键值（KV）缓存。一种名为InfoKV的方法，利用预测不确定性等信息论信号以及注意力权重，来更好地估计token重要性以进行压缩，在Llama-3.1和DeepSeek-R1等模型的长上下文推理任务上表现出改进的性能。另一种方法Block-GTQ，专注于RoPE感知比特分配用于KV缓存量化，根据RoPE中不同频率块对量化误差的敏感度来调整比特分布。该技术显著提…