实体 Bert Small

Bert Small

PulseAugur coverage of Bert Small — every cluster mentioning Bert Small across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_03012 · Apr 23 · 13:42

新的 GEM 激活函数提供了比 ReLU 更平滑、更具理性的替代方案

研究人员推出了一种名为 Geometric Monomial (GEM) 的新型激活函数族，专为深度神经网络设计。这些函数采用纯粹的有理数算术，并提供 $C^{2N}$-平滑性，旨在克服标准 ReLU 的局限性。实验表明，GEM 变体在 CIFAR-10、CIFAR-100、MNIST、GPT-2 和 BERT-small 等各种基准测试中，其性能可媲美甚至超越 GELU 等成熟函数。