EmbeddingMemory

TIDE架构通过让每一层访问令牌上下文来增强LLM

研究人员推出了一种名为TIDE的新型架构，旨在解决现代大型语言模型（LLM）的两个关键局限性。TIDE解决了“稀有令牌问题”（即不频繁出现的令牌获得的训练不足）和“上下文折叠问题”（即相似的令牌被映射到无法区分的状态）。所提出的解决方案通过一个“EmbeddingMemory”系统增强了标准Transformer，该系统将令牌信息注入到每一层，旨在提高各种语言建模任务的性能。