实体 Heavy Tailed Activation Function (HTAF)

Heavy Tailed Activation Function (HTAF)

PulseAugur coverage of Heavy Tailed Activation Function (HTAF) — every cluster mentioning Heavy Tailed Activation Function (HTAF) across labs, papers, and developer communities, ranked by signal.

Show in brief

总计 · 30天

90 天内 1

发布 · 30天

90 天内 0

论文 · 30天

90 天内 1

层级分布 · 90 天

主题

时间线

2026-05-12 research_milestone A new composite activation function, HTAF, was proposed for stable training of binary neural networks. 来源
2026-05-12 research_milestone Researchers introduce the Heavy Tailed Activation Function (HTAF) for stable training of binary neural networks. 来源

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_29318 · May 12 · 05:41

新的HTAF激活函数可实现二值神经网络的稳定训练

研究人员开发了一种名为重尾激活函数（HTAF）的新激活函数，以应对训练具有二值化表示的神经网络所面临的挑战。HTAF是单位阶跃函数的平滑近似，旨在保持较大的梯度质量以实现稳定的优化。该新函数能够使用基于梯度的优化方法稳定地训练各种类型的神经网络，包括脉冲神经网络（Spiking Neural Networks）和二值神经网络（Binary Neural Networks）。研究人员还引入了隐式概念瓶颈模型（ICBMs），该模型利用HT…

新的HTAF激活函数可实现二值神经网络的稳定训练