实体
LatentPress
LatentPress
PulseAugur coverage of LatentPress — every cluster mentioning LatentPress across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法使大型语言模型能够高效压缩上下文
研究人员开发了新的方法来压缩大型语言模型的上下文，使其能够更有效地处理更多信息。来自arXiv的FlexComp框架通过对每个实例的内存预算进行采样，使单个模型能够处理可变的压缩率，其性能优于固定比率的专用模型。LatentPress是另一种方法，它将对话历史和文档编码成连续的内存令牌，冻结的解码器可以直接读取，绕过文本重建，并显著加快推理速度。
-
新方法超越文本和视觉压缩LLM的长上下文 · 跟踪2个来源
两篇新的研究论文介绍了压缩大型语言模型长上下文的新颖方法。LatentPress利用连续内存令牌，绕过文本重建，实现更快、更高效的处理，在极少的参数训练下实现了显著的压缩率。TopoCompress是一个无需训练且模型无关的框架，采用图连接的语义轨迹来选择连贯的跨度，其性能优于现有的压缩基线，并减少了预算和时间。