实体
FactorEngram
FactorEngram
PulseAugur coverage of FactorEngram — every cluster mentioning FactorEngram across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Chorus方法将N-gram嵌入内存使用量削减87%
研究人员推出了一种新颖的语言模型N-gram嵌入方法Chorus,该方法在保持或提高性能的同时显著降低了内存使用量。与之前为每层使用单独的N-gram嵌入表的方法不同,Chorus采用单一共享的表集,各层通过自己的投影和重缩放机制对其进行自适应。这种共享方法实现了跨层的知识重用,并产生了显著更小的表,其参数量仅为FactorEngram和DeepSeek's Engram等现有方法的一小部分,但性能更优。此外,Chorus与Ember…
-
FactorEngram 通过因子化N-gram记忆增强语言模型
研究人员推出 FactorEngram,一种通过结合因子化N-gram记忆和基于基向量的上下文门控来增强语言模型的新方法。该方法通过允许根据上下文更选择性地检索和调制记忆组件,改进了现有的基于查找的记忆系统。通过利用共享的基向量词典,FactorEngram 允许相关模式重用公共元素,并允许模型的隐藏状态单独门控每个记忆组件。在不同大小的 Transformer 模型上进行的实验表明,语言建模和下游任务性能有所提高。