PulseAugur
中
实时 07:20:57
English(EN) ARC-Encoder: learning compressed text representations for large language models

新的ARC-Encoder压缩LLM文本表示以提高效率

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了ARC-Encoder，一种用于压缩大型语言模型（LLM）文本表示的新方法。该方法训练一个编码器来减少连续表示的数量，通常减少4倍或8倍，然后可以用它来替换解码器LLM中的token嵌入。ARC-Encoder旨在降低与更长上下文和复杂推理任务相关的推理成本，同时不损害LLM的通用能力或需要进行架构修改。该系统在各种基准测试中展示了最先进的性能，提高了计算效率，并且可以适应同时与多个解码器LLM一起工作。 AI

影响 通过压缩文本表示来降低LLM的推理成本，可能使更长上下文的更有效利用成为可能。

排序理由 关于LLM上下文压缩新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的ARC-Encoder压缩LLM文本表示以提高效率

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Hippolyte Pilchen, Edouard Grave, Patrick P\'erez ·

    ARC-Encoder：为大型语言模型学习压缩文本表示

    arXiv:2510.20535v2 Announce Type: replace Abstract: Recent techniques such as retrieval-augmented generation or chain-of-thought reasoning have led to longer contexts and increased inference costs. Context compression techniques can reduce these costs, but the most effective appr…

相关实体

相关话题