Random Attention Prior Kernel

新的随机注意力模块提高了移动睡眠分期的效率

研究人员开发了一种新的时间建模模块，称为随机注意力（RA），旨在用于移动设备上的高效睡眠分期。RA 利用固定的随机投影进行基于相似性的聚合，与 RNN 和 Transformer 等传统序列模型相比，降低了计算成本。通过随机注意力先验核（RAPK）进行的理论分析将 RA 分解为全局平滑和特征相似性项，提供了可解释性。在基准数据集上的实验表明，RA 在保持竞争性性能并显示出强大的泛化能力和鲁棒性的同时，将准确率和 F1 分数比基线方法提…