实体
Gated linear unit
Gated linear unit
PulseAugur coverage of Gated linear unit — every cluster mentioning Gated linear unit across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
先验拟合网络通过上下文学习实现统计自适应
研究人员分析了像TabPFN这样的先验拟合网络（PFNs）如何在学习中实现统计自适应。在一个受控的位置估计问题中，他们发现PFNs能够学习区分不同的数据生成模型（如高斯分布或均匀分布），并相应地调整其估计策略。研究表明，这些网络中的注意力机制计算经验累积量生成函数的导数，使它们能够形成在样本均值和中程之间进行插值的估计器。通过混合或门控线性单元组合注意力专家，并分析梯度流，研究表明PFNs通过充分的预训练可以在各种任务中实现近乎最优的性能。
-
全带宽Transformer架构提升AI推理和效率
研究人员推出了一种名为“全带宽Transformer”的新型架构，通过拓宽解码步骤之间的垂直反馈通道来增强Transformer模型。这通过“潜在反馈”实现，即将先前顶层的隐藏状态与采样到的Token嵌入融合，并反馈给模型。这一修改允许非语言化计算重新进入堆栈，从而在语言评估、数学和代码生成等任务上提高性能，同时每Token的解码开销可忽略不计。新模型架构在准确性相当或更高的情况下，能匹配或超越使用显著更多Token训练的标准Tran…