Swin Transformer
PulseAugur coverage of Swin Transformer — every cluster mentioning Swin Transformer across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
新的FeMaSR方法通过特征匹配增强图像超分辨率
研究人员开发了一种新的盲超分辨率方法FeMaSR，旨在恢复具有复杂、未知退化特征的低分辨率图像中丢失的细节。与之前在图像空间操作或依赖于不可用高分辨率参考的方法不同，FeMaSR在紧凑的特征空间中工作。它使用具有隐式高分辨率先验的预训练VQGAN模型，将失真的低分辨率图像特征与其无失真的高分辨率对应特征进行匹配，然后解码这些匹配的特征以生成逼真的高分辨率图像。该方法在VQGAN中融入了语义正则化，并使用基于Swin Transform…
-
新AI模型SwinIFS在保持身份信息的同时增强人脸图像
研究人员开发了SwinIFS，一个用于将低分辨率人脸图像增强为高分辨率图像同时保持身份的新框架。该方法将人脸地标信息与Swin Transformer集成，以关注关键面部区域并捕捉长距离上下文。在CelebA基准上的实验表明，SwinIFS即使在8倍等极端放大因子下，也能产生卓越的感知质量、更清晰的重建和更好的身份保持效果。
-
新的扩散框架可从不完整的序列合成定量DCE-MRI
研究人员开发了Spatio-Temporal Mixture-of-Modality-Experts (ST-MoME)，一个新颖的扩散框架，旨在从不完整的MR序列合成定量动态对比增强MRI (DCE-MRI) 参数图。该方法通过融合来自各种MRI模态的特征，解决了由于造影剂风险和方案可变性导致DCE-MRI数据不可用的挑战。ST-MoME利用时空门控网络生成体素级别的权重，并使用基于Swin的骨干网络指导图像空间中的去噪过程。在16…
-
AI迁移攻击：“剪刀效应”揭示多样性阻碍鲁棒模型
研究人员在针对AI模型的迁移攻击中发现了一种称为“剪刀效应”的现象。该效应表明，虽然随机调整大小和填充（输入多样性或DI）通常能提高标准模型的攻击成功率，但它们会严重阻碍对鲁棒训练模型的攻击。这一反直觉的发现是在CNN、ViT和Swin Transformer等各种模型架构以及ImageNet和CIFAR-10等数据集上观察到的，表明DI的有效性高度依赖于模型的训练机制。研究将这种效应归因于梯度的几何特性，其中调整大小被认为是导致鲁棒…
-
新的基于GAN的框架在纹理图像分类方面表现不佳，尽管重建质量很高
研究人员开发了一个新的框架，用于分析部分损坏或信息缺失的地质纹理图像。该系统使用目标检测进行分割，并结合上下文残差聚合（CRA）的生成对抗网络（GANs）来重建图像中的高频细节。虽然重建质量很高，但分类准确性仍然有限，这促使开发了一种基于置信度的混合集成方法，提高了少数类别的准确性。研究强调了生成模型在产生视觉上合理但语义上模糊的特征方面的挑战，这些特征可能会误导分类器，因此该系统被定位为决策支持工具，而不是完全自主的分类器。
-
Vision Transformers 提升沿海藻华测绘能力
研究人员开发了一种新的方法，利用 Vision Transformers（一种深度学习模型）来绘制沿海藻华的地图。该方法利用 Landsat-8/9 和 Sentinel-2 卫星的高分辨率图像，检测出通常会被分辨率较低的传感器遗漏的碎片化藻华结构。研究将四种 Transformer 架构与标准的卷积基线进行了比较，发现 Swin Transformer 在云层覆盖和太阳反光等挑战性条件下表现最佳。与传统的谱指数方法相比，这种深度学习…
-
基于 LLM 的扩散模型增强驾驶员注意力预测
研究人员开发了 DiffAttn，一个用于预测驾驶员视觉注意力的、新颖的基于扩散的模型框架。该系统集成了 Swin Transformer 用于场景特征提取，以及特征融合金字塔用于增强去噪和上下文建模。一项关键创新是引入了一个大型语言模型 (LLM) 层，以改进语义推理并识别安全关键线索。在多个数据集上的实验表明，DiffAttn 的性能优于现有方法，为提高智能车辆安全性和驾驶员理解力提供了潜力。
-
新的 ToaSt 框架提高了 Vision Transformer 的效率
研究人员开发了一个名为 ToaSt 的新框架，旨在提高 Vision Transformer (ViTs) 的计算效率。ToaSt 将策略分离应用于 ViT 架构的不同部分，对注意力模块应用头式结构化剪枝，并对前馈网络应用一种称为 Token 通道选择 (TCS) 的免训练方法。这种方法在图像分类、检测和分割等各种模型和下游任务中都展示了改进的准确性和效率权衡。
-
AI模型直接从医学影像生成心脏网格
研究人员开发了一种新颖的端到端网络，用于直接从3D医学影像重建心脏网格，绕过了传统的分割和网格生成步骤。该方法利用3D Swin Transformer进行特征提取，并使用图注意力网络（GAT）将模板网格变形到心脏边界。在MM-WHS 2017基准测试中，该方法取得了具有竞争力的分割分数，并提高了网格质量，在一次前向传播中即可生成可用于仿真的网格。
-
新型AMN网络改进了组织病理学图像中的细胞核分割
研究人员开发了AMN，一种自适应多尺度融合网络，用于组织病理学图像中的精确细胞核分割。该双编码器框架独特地结合了Swin Transformer和ResNet-50特征金字塔，并使用学习到的门控机制来动态平衡它们在不同尺度的贡献。AMN包含一个多目标损失函数，其中包括焦点损失、边界感知损失和不确定性调制分类项，以提高准确性并减少过度自信的错误。该模型在CoNIC基准测试中取得了最先进的成果，优于其他八种架构，并在MoNuSeg数据集上…
-
新型Transformer模型提升金属缺陷检测能力
研究人员开发了一个名为对比增强Transformer (CAT) 的新框架，以改进工业制造中金属表面缺陷的检测。该框架利用分层Swin Transformer骨干网络和增强型特征金字塔网络，以更好地识别细微和多尺度的缺陷。为了提高其在实际条件下的性能，CAT整合了一个领域特定的液滴增强算法和用于对比损失的硬负例挖掘策略。在KolektorSDD2数据集上的实验表明，CAT实现了99.54%的像素级AUROC，在各种未见过的数据集上展现…
-
新的LUMINA乳腺X线摄影基准数据集发布，附带协调协议
研究人员推出了LUMINA，一个用于乳腺X线摄影AI的新基准数据集，通过包含不同的供应商和采集能量来解决现有数据集的局限性。该数据集包含来自468名患者的1824张图像，并附有详细的标注，包括病理、BI-RADS评估和乳腺密度。为了处理差异，提出了一种新颖的能量协调方法，并与CNN和Transformer模型进行了基准测试，显示出改进的性能和更本地化的诊断见解。
-
Swin Transformer 在异常分割中对 FP4 量化表现出韧性
一篇新的研究论文探讨了模型架构、规模和特定的量化感知训练 (QAT) 配方如何在 FP4 精度下影响异常分割模型的质量。研究发现，与 CNN 相比，基于注意力机制的架构（如 Swin Transformer）对不同的 QAT 配方选择具有显著的韧性，尤其是在更大的规模下。研究结果表明，由于其鲁棒性，Swin Transformer 是 FP4 量化异常分割任务的推荐选择。
-
AI皮肤镜系统在皮肤癌检测中显示出高准确性
arXiv上发表的一项新研究详细介绍了Melanoscope AI的临床验证，这是一种旨在帮助早期检测恶性皮肤病变的移动皮肤镜系统。该系统采用两阶段级联分类模型，并包含注意力图可视化等可解释性功能。俄罗斯一家单中心研究的初步结果显示，其与专家评估的一致性为88.6%，在恶性病变中没有假阴性，表明其在筛查中的潜在用途，尤其是在皮肤科医生短缺的地区。
-
SMIT方法在医学图像分割迁移性方面领先
研究人员对九种自监督学习（SSL）方法在医学图像分割任务中的迁移性进行了基准测试。研究发现，结合了掩码图像建模和自蒸馏的自蒸馏掩码图像Transformer（SMIT）方法，在准确性和收敛速度方面均取得了最高成就。SMIT在数据效率方面也表现出色，尤其是在少样本学习场景下，其性能优于对比学习和旋转预测方法。
-
AI模型可准确检测内窥镜图像中的直肠肿瘤复发
研究人员开发了一种新颖的带有双交叉注意力的Siamese Swin Transformer (SSDCA)，用于从内窥镜图像中检测直肠肿瘤的局部复发。该模型分析了新辅助治疗后接受观察等待监测的患者的连续图像。SSDCA在区分完全缓解和局部复发方面表现出优越性能，达到了81.76%的平衡准确率，并对常见的成像伪影表现出鲁棒性。
-
新的MorphoFormer AI模型改进了建筑高度和轮廓估计
研究人员开发了MorphoFormer，这是一个利用遥感数据联合估计建筑高度和轮廓的新型框架。与之前将这两个参数独立处理的方法不同，该方法明确编码了这两个参数之间的关系。该框架利用带有Sentinel-1 SAR、Sentinel-2多光谱和DEM输入的Swin骨干网络，将建筑高度RMSE从3.39米降低到3.15米。
-
TwistNet-2D 学习二阶通道交互以进行纹理识别
研究人员开发了 TwistNet-2D，这是一个旨在通过捕获二阶通道交互来增强纹理识别的新型模块。该模块计算具有方向空间位移的局部成对通道乘积，有效编码特征共现和交互。TwistNet-2D 可与 ResNet-18 等现有架构无缝集成，仅增加极少的参数和计算成本，同时显著提高在纹理和细粒度识别基准上的性能。
-
InfiltrNet结合CNN和Transformer用于脑肿瘤浸润风险预测
研究人员开发了InfiltrNet，一种用于预测脑肿瘤浸润风险的新型双分支架构。该系统结合了CNN编码器和Swin Transformer编码器，利用交叉注意力融合从多模态MRI扫描生成风险图。该方法旨在通过估算可见肿瘤边界以外的浸润情况来改进手术规划和放射治疗，在BraTS 2020和BraTS 2025数据集的实验中表现优于现有方法。
-
视觉Transformer利用DCT提升注意力和效率
研究人员开发了一种利用离散余弦变换（DCT）来增强视觉Transformer的新颖方法。该方法包括一种基于DCT的自注意力初始化策略，可提高在CIFAR-10和ImageNet-1K等基准测试上的分类准确性。此外，一种基于DCT的注意力压缩技术通过截断输入块的高频分量来降低计算开销，从而在Swin Transformer等模型中保持性能。