实体
feed forward network
feed forward network
PulseAugur coverage of feed forward network — every cluster mentioning feed forward network across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
最近 · 第 1/1 页 · 共 2 条
-
Hugging Face 推出 Graph Memory Transformer，用学习到的内存图替换 FFN
研究人员开发了一种图内存 Transformer (GMT)，它用显式的学习内存图替换了仅解码器 Transformer 中的标准前馈网络 (FFN) 子层。这种新架构保持了因果自注意力，但使用内存单元通过由有向转移矩阵连接的质心库来路由 token 表示。虽然具有 8220 万个参数的 GMT 模型训练稳定并提供可检查的组件，但它在验证损失和困惑度方面目前表现不如密集 GPT 风格的基线，尽管它在零样本基准测试中的行为相当。
-
Graph Memory Transformer replaces FFNs with learned memory graphs for interpretability
Researchers have developed a Graph Memory Transformer (GMT) that replaces the standard Feed-Forward Network (FFN) sublayer in decoder-only language models with an explicit learned memory graph. This new architecture, GM…