实体 SG-Blend

SG-Blend

PulseAugur coverage of SG-Blend — every cluster mentioning SG-Blend across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_247840 · Sep 11 · 04:00

新的SG-Blend激活函数提高了神经网络的鲁棒性

研究人员推出了一种新颖的自适应激活函数SG-Blend，旨在改善神经网络表示。SG-Blend在Swish和GELU激活函数之间进行插值，允许每一层学习其在该连续体上的最佳位置。这种方法在BERT风格的IMDB分类任务上显示出较低的方差并保持了峰值准确率，同时在WikiText103的自回归预训练中也实现了较低的验证困惑度。该方法的有效性超出了自然语言处理的范畴，在计算机视觉和其他领域也显示出鲁棒的泛化能力。