实体
Latent Context Language Models
Latent Context Language Models
PulseAugur coverage of Latent Context Language Models — every cluster mentioning Latent Context Language Models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的LCLM架构将LLM上下文压缩16倍，提高效率
研究人员开发了潜在上下文语言模型（LCLM），该模型在输入文本到达解码器之前将其压缩16倍，从而显著降低了内存和计算成本。这种由多所大学和国家实验室团队开发的新颖方法在长上下文基准测试中保持了高精度，并且优于现有的压缩方法。LCLM架构使用一个较小的编码器来创建压缩的“摘要向量”，并使用一个较大的解码器来处理这些向量，为处理大上下文提供了更有效的方式，特别适用于RAG系统和代理。
-
新的大语言模型上下文压缩技术提高了效率和准确性
研究人员正在开发用于大语言模型上下文压缩的新方法，以提高效率和性能。一种名为“Telegraph English”的方法将检索到的段落重写为结构化的实体-关系语句，在问答任务上的表现优于传统的压缩技术。另一种方法 Sentinel 使用注意力探测来解码大语言模型的上下文利用情况，从而实现高效压缩，并在较小的模型上取得了显著的提升。此外，潜在上下文语言模型（LCLMs）提供了一个端到端的编码器-解码器框架，提高了长上下文推理和代理任务的…