PulseAugur
中
实时 18:38:26
实体 softmax mixture of experts

softmax mixture of experts

PulseAugur coverage of softmax mixture of experts — every cluster mentioning softmax mixture of experts across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_284641 ·

    先验拟合网络通过上下文学习实现统计自适应

    研究人员分析了像TabPFN这样的先验拟合网络(PFNs)如何在学习中实现统计自适应。在一个受控的位置估计问题中,他们发现PFNs能够学习区分不同的数据生成模型(如高斯分布或均匀分布),并相应地调整其估计策略。研究表明,这些网络中的注意力机制计算经验累积量生成函数的导数,使它们能够形成在样本均值和中程之间进行插值的估计器。通过混合或门控线性单元组合注意力专家,并分析梯度流,研究表明PFNs通过充分的预训练可以在各种任务中实现近乎最优的性能。

  2. TOOL · CL_293185 ·

    先验拟合网络在AI模型中实现统计适应性

    本文介绍了先验拟合网络(PFNs)作为一种实现统计适应性的方法,在无需了解数据来源先验知识的情况下,其表现几乎与各种数据模型的专用方法一样好。该研究通过一个受控的定位估计问题,分析了PFNs如何学习这种适应性,证明了它们区分高斯和均匀数据分布以及在样本均值和中值估计器之间进行插值的能力。实验表明,PFNs在高斯任务上可实现渐近效率,在混合任务上可实现接近最优的速率,风险分解阐明了架构对专家和路由误差的贡献。