ARC-Encoder

新的ARC-Encoder压缩LLM文本表示以提高效率

研究人员开发了ARC-Encoder，一种用于压缩大型语言模型（LLM）文本表示的新方法。该方法训练一个编码器来减少连续表示的数量，通常减少4倍或8倍，然后可以用它来替换解码器LLM中的token嵌入。ARC-Encoder旨在降低与更长上下文和复杂推理任务相关的推理成本，同时不损害LLM的通用能力或需要进行架构修改。该系统在各种基准测试中展示了最先进的性能，提高了计算效率，并且可以适应同时与多个解码器LLM一起工作。