实体
Feed-Forward Networks (FFNs)
Feed-Forward Networks (FFNs)
PulseAugur coverage of Feed-Forward Networks (FFNs) — every cluster mentioning Feed-Forward Networks (FFNs) across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新方法 RepTran 以 74.7% 的成功率修复 Transformer 模型
研究人员开发了 RepTran，这是一种新颖的、基于搜索的方法，专门用于修复 Transformer 模型，而 Transformer 模型是现代人工智能软件的关键组成部分。该方法通过识别可疑权重并使用差分进化进行迭代优化，专注于优化这些模型中的前馈网络。在 18 个故障基准上的评估表明，RepTran 的表现显著优于随机权重选择和 Arachne 等现有方法，平均修复率为 74.7%，并提高了人工智能软件的可靠性。
-
新型混合架构提升长上下文语言模型效率
研究人员引入了一种并行混合架构（PHA），它结合了门控状态空间（GSS）、分组查询注意力（GQA）和前馈网络（FFNs），以改进长上下文语言建模。该架构并行运行这些组件，允许每个组件专注于序列建模的不同方面，这与之前迫使SSM近似注意力或串行化这两种范例的方法不同。PHA在困惑度方面与标准Transformer具有竞争力，同时在吞吐量和内存使用方面提供了显著更高的效率，尤其是在长上下文方面。