实体
SpecFormer
SpecFormer
PulseAugur coverage of SpecFormer — every cluster mentioning SpecFormer across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
自监督学习模型在分析极光光谱方面表现出色
研究人员开发了一种用于分析极光发射光谱的自监督学习方法，该方法利用在大量未标记光谱数据集上预训练的一维 Vision Transformer。该模型能有效恢复关键的物理诊断比率，并且在微调后，以显著更少的标签优于先前的监督方法。研究还探讨了现有光谱基础模型的迁移能力，发现不同光谱窗口训练的模型表现各异，其中一个光学模型显示出潜力，但未能完全匹配领域内预训练模型。
-
SpecFormer 解决了推荐系统中嵌入和注意力崩溃的问题
研究人员开发了SpecFormer，一种新颖的频谱感知Transformer，旨在解决推荐系统中的嵌入和注意力崩溃问题。该架构引入了可学习频谱软化模块、频谱软化注意力机制和频谱残差位置编码，以管理令牌嵌入和特征交互的频谱分布。实验表明，SpecFormer的性能显著优于现有基线，并已成功部署在商业推荐系统中，证明了随着深度的增加，性能和可扩展性得到了提高。