FactorEngram

FactorEngram 通过因子化N-gram记忆增强语言模型

研究人员推出 FactorEngram，一种通过结合因子化N-gram记忆和基于基向量的上下文门控来增强语言模型的新方法。该方法通过允许根据上下文更选择性地检索和调制记忆组件，改进了现有的基于查找的记忆系统。通过利用共享的基向量词典，FactorEngram 允许相关模式重用公共元素，并允许模型的隐藏状态单独门控每个记忆组件。在不同大小的 Transformer 模型上进行的实验表明，语言建模和下游任务性能有所提高。