Gated linear unit
PulseAugur coverage of Gated linear unit — every cluster mentioning Gated linear unit across labs, papers, and developer communities, ranked by signal.
-
先验拟合网络通过上下文学习实现统计自适应
研究人员分析了像TabPFN这样的先验拟合网络(PFNs)如何在学习中实现统计自适应。在一个受控的位置估计问题中,他们发现PFNs能够学习区分不同的数据生成模型(如高斯分布或均匀分布),并相应地调整其估计策略。研究表明,这些网络中的注意力机制计算经验累积量生成函数的导数,使它们能够形成在样本均值和中程之间进行插值的估计器。通过混合或门控线性单元组合注意力专家,并分析梯度流,研究表明PFNs通过充分的预训练可以在各种任务中实现近乎最优的性能。
-
先验拟合网络在AI模型中实现统计适应性
本文介绍了先验拟合网络(PFNs)作为一种实现统计适应性的方法,在无需了解数据来源先验知识的情况下,其表现几乎与各种数据模型的专用方法一样好。该研究通过一个受控的定位估计问题,分析了PFNs如何学习这种适应性,证明了它们区分高斯和均匀数据分布以及在样本均值和中值估计器之间进行插值的能力。实验表明,PFNs在高斯任务上可实现渐近效率,在混合任务上可实现接近最优的速率,风险分解阐明了架构对专家和路由误差的贡献。
-
全带宽Transformer架构提升AI推理和效率
研究人员推出了一种名为“全带宽Transformer”的新型架构,通过拓宽解码步骤之间的垂直反馈通道来增强Transformer模型。这通过“潜在反馈”实现,即将先前顶层的隐藏状态与采样到的Token嵌入融合,并反馈给模型。这一修改允许非语言化计算重新进入堆栈,从而在语言评估、数学和代码生成等任务上提高性能,同时每Token的解码开销可忽略不计。新模型架构在准确性相当或更高的情况下,能匹配或超越使用显著更多Token训练的标准Tran…