实体
RULER-NIAH
RULER-NIAH
PulseAugur coverage of RULER-NIAH — every cluster mentioning RULER-NIAH across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的OSCAR方法将LLM KV缓存大小削减8倍，提升速度
研究人员开发了OSCAR，一种将KV缓存量化到2位精度的新颖方法，显著减少了大型语言模型的内存使用并提高了推理速度。该技术将量化基与注意力机制对齐，即使在极度压缩的缓存下也能保持准确性。OSCAR已集成到SGLang和vLLM等服务引擎中，在各种基准测试和模型规模上均显示出吞吐量和解码速度的显著提升。
-
新的CoMem框架为LLM提供查询引导的上下文压缩
研究人员推出了一种新颖的大语言模型（LLM）选择性上下文压缩框架CoMem。该方法旨在通过将长输入转换为紧凑的记忆槽来提高效率，但与以前的方法不同，CoMem是查询引导的，这意味着它学习保留与特定查询相关的信息。该框架利用对比式压缩器学习和硬负例挖掘策略来确保查询敏感且上下文保留的记忆表示。实验表明，CoMem在问答和RULER-NIAH基准测试中优于现有方法。