Tensorized Engram

新的TN-gram模块提升LLM内存效率

研究人员推出了一种名为Tensorized Engram (TN-gram) 的新型大语言模型（LLM）记忆模块，旨在改进模型处理多词组模式的方式。与以往为不同n-gram阶数使用独立记忆结构的方法不同，TN-gram采用标准多项式（Canonical Polyadic）形式的共享因子。这种方法能够更有效地编码n-gram嵌入，并且在参数数量显著减少的情况下，展现出与现有Engram模块相当或更优的性能。