实体
Neighborhood Attention Transformer
Neighborhood Attention Transformer
PulseAugur coverage of Neighborhood Attention Transformer — every cluster mentioning Neighborhood Attention Transformer across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的无监督方法可在无真实数据的情况下自适应偏微分方程基础模型
研究人员开发了一种新的偏微分方程（PDE）基础模型的无监督微调框架，无需真实解。该方法利用了源自PDE残差和边界条件的基于物理的目标，并结合了一种称为NSLoRA的低秩自适应技术。该方法在不需要真实数据的情况下实现了与监督方法相当的性能，并在各种基准测试中优于现有的神经算子基线和PDE基础模型。
-
ECG-NAT模型使用自监督学习进行心电图分类
研究人员开发了ECG-NAT，这是一种用于多导联心电图分类的自监督邻域注意力Transformer。该模型采用两阶段方法，首先在无标签心电图数据上进行生成式预训练以学习鲁棒表示，然后使用双重损失函数进行判别式微调。ECG-NAT的分层注意力机制能够有效地捕捉精细的心搏形态和更广泛的节律模式，在仅使用1%的标签数据的情况下达到了88.1%的准确率，在资源匮乏的情况下非常有效。