PrefixMem

新的编码器提升了 LLM 在语义 ID 上的性能

研究人员开发了 PrefixMem，这是一种新颖的编码器，旨在提高大型语言模型 (LLM) 在处理语义 ID (SID) 时的性能。与目前将 SID 视为简单标记的现有方法不同，PrefixMem 利用前缀 n-gram 记忆表提供结构化、依赖于上下文的表示。这种方法显著提高了 SID 准确性和检索召回率，尤其是在标准 LLM 难以处理的复杂示例中。