Mixtures-of-experts of autoregressive time series: asymptotic normality and model specification
PulseAugur coverage of Mixtures-of-experts of autoregressive time series: asymptotic normality and model specification — every cluster mentioning Mixtures-of-experts of autoregressive time series: asymptotic normality and model specification across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的贝叶斯推断方法改进了复杂模型的基于仿真的校准
研究人员开发了用于具有难解似然但可处理前向模拟的模型的新型模拟贝叶斯推断（SBI）方法。第一项贡献引入了一种顺序程序，使用渐进局部化、数据驱动的条件密度近似作为提议分布，最后通过重要性采样步骤校正后验分布。第二项贡献是局部模拟校准（SBC），它通过拟合和重用伪观测值之间的局部代理模型和比率估计器，以低计算成本探测比后验更广泛邻域的校准。这些方法在三个案例研究中进行了评估，包括一个流行病学应用。
-
新方法提升混合专家模型的效率和性能
研究人员开发了新方法来提高混合专家（MoE）模型的效率和性能。一种方法是层级分布对齐（LDA），它通过校准表示以匹配训练配置来解决推理时激活专家数量减少时发生的性能下降问题。另一种方法提出了一个广义线性专家MoE模型的正则化最大似然框架，通过近端牛顿-EM算法实现参数估计和特征选择的同步。
-
神经二次型统一了跨架构的学习动态
研究人员引入了神经二次型（NQF）作为一种统一的最小模型，以解释神经网络的学习动态。该模型通过将感知机、注意力层和专家混合等各种架构的具体细节抽象为单一的“结构矩阵”来统一它们。该理论预测，训练损失将遵循平滑的幂律或表现出突变式学习，具体取决于初始权重大小和数据特征。这些预测已在不同训练方法和架构中得到数值验证。