Multi-Rate Mixture-of-Experts

新的MR-MoE框架加速液体神经网络训练

研究人员推出了一种多速率专家混合（MR-MoE）框架，旨在增强液体神经网络（LNN）。这种新架构允许多个LNN专家以不同的时间尺度运行，使模型能够更好地区分多元时间序列数据中的快速和慢速时间模式。该框架还包含用于自适应专家选择的门控网络以及用于改进鲁棒性和长程依赖建模的注意力机制。实验表明，MR-MoE方法在时间序列预测任务中优于传统的LSTM和标准MoE模型，在可比的计算效率下实现了更好的AUROC和AUPRC分数。