Gelus

新研究质疑 Transformer 的通用性，发现特定任务架构表现更优

研究人员开发了一种方法，通过用可学习的替代方案替换 GELU 和 softmax 等非线性函数来优化特定数据集的 Transformer 架构。这种方法表明，标准的 Transformer 架构通常不是给定任务的最佳架构，新的设计在算法任务的学习速度、泛化能力和稳定性方面显示出显著的改进。虽然这些优化后的架构高度特定于任务，但它们也表明不同任务需要不同的归纳偏倚，这预示着未来架构可能更好地平衡通用性与专业能力。