softmax mixture of experts

先验拟合网络通过上下文学习实现统计自适应

研究人员分析了像TabPFN这样的先验拟合网络（PFNs）如何在学习中实现统计自适应。在一个受控的位置估计问题中，他们发现PFNs能够学习区分不同的数据生成模型（如高斯分布或均匀分布），并相应地调整其估计策略。研究表明，这些网络中的注意力机制计算经验累积量生成函数的导数，使它们能够形成在样本均值和中程之间进行插值的估计器。通过混合或门控线性单元组合注意力专家，并分析梯度流，研究表明PFNs通过充分的预训练可以在各种任务中实现近乎最优的性能。