Masked Autoencoders
PulseAugur coverage of Masked Autoencoders — every cluster mentioning Masked Autoencoders across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
CSMoE：一种高效的具有软专家混合的遥感基础模型
研究人员开发了CSMoE，一种用于遥感的新型基础模型，它利用软专家混合（MoE）机制来提高计算效率。这种方法允许对不同模态进行专门处理，同时保持共享的跨传感器表示学习，从而降低了训练和推理过程中的复杂性。此外，CSMoE采用了新颖的训练数据采样策略，从大型档案中精心挑选了一个多样化但缩减的数据集，在不牺牲表示能力的情况下进一步降低了预训练成本。实验表明，CSMoE在场景分类和语义分割等任务上的表现与现有的最先进模型相当，同时所需的计算…
-
新型视觉模型分析秀丽隐杆线虫神经元以进行神经毒性评估
研究人员开发了一种新的自监督视觉模型，专门用于分析秀丽隐杆线虫（一种用于神经毒性研究的线虫）的神经元图像。该模型名为 CeNeuMorph，采用尺度自适应掩码图像建模策略，以在不同分辨率下有效学习表示，解决了通用视觉模型在捕捉神经成像中的稀疏信号和多尺度病变方面的局限性。与现有模型相比，该模型在分类、分割和检测任务上表现出优越的性能，并能根据形态学特征预测行为缺陷。这项进展为神经毒性评估和药物发现提供了一种可扩展、计算上可行的替代传统…
-
掩码自编码器从无标签数据中学习感知相关的神经表征
研究人员证明了掩码自编码器可以从无标签的神经数据中学习有意义的表征，特别是静息态神经活动。通过在一名盲人参与者大脑V1区域的数小时自发多单元活动上预训练掩码自编码器，该模型成功捕获了与大脑空间组织和感知状态分离相关的可解释结构。这种无监督预训练策略被证明能有效改进神经解码，在使用模型冻结的潜在表征进行线性探测时，在一个通用心理测量任务上达到了84.1%的准确率，在一个更具挑战性的阈值水平任务上达到了64.0%的准确率。
-
新研究评估视觉模型类人颜色感知能力
一篇新研究论文探讨了与人类相比，视觉模型在颜色表示方面的理解程度。该研究引入了一个基于人类感知数据的颜色基础评估框架，评估了类别边界、紧凑性和分级对齐，超越了CIELAB等简单的几何颜色空间。对十一个Vision Transformer模型的测试结果表明，Masked Autoencoders (MAE) 在颜色感知方面与人类的对齐程度更高，尤其是在分级方面，表现优于其他编码器。
-
新技术通过超声检查提高肝脏疾病分类的准确性
研究人员开发了一种新颖的方法来改进肝脏疾病的分类，特别是区分代谢功能障碍相关性脂肪性肝病（NASH）和非酒精性脂肪性肝病（NAFLD）。通过将传统的B模式超声与源自物理引导和局部相位成像的互补表示相结合，新方法显著提高了诊断准确性。在梅奥诊所（Mayo Clinic）的大型队列上进行的实验表明，这种利用自监督掩码自动编码器和图卷积网络的集成方法，与单独的传统B模式成像相比，准确率提高了高达32.4%，F1分数提高了91.2%。
-
MorphologyFM模型从心电图和脉搏血氧波形中学习
研究人员开发了MorphologyFM，这是一种新颖的基础模型，旨在从心电图（ECG）和脉搏血氧饱和度（SpO2）波形中学习表示。与以往侧重于重建或预测的方法不同，MorphologyFM明确保留了这些生理信号在临床上具有重要意义的形态结构。该模型利用了形态感知自监督学习目标，结合了引导掩码、跨模态学习和对比潜在对齐。在心律失常和低血氧症预测等各种预测任务上的评估表明，MorphologyFM的性能优于现有的自监督学习技术，并证明了E…
-
自监督学习提升无人机影像分析能力，助力精准农业 · 追踪2个来源
研究人员探讨了自监督学习（SSL）在精准农业高分辨率多光谱无人机影像分析中的有效性。一项研究使用动量对比v3（MoCo-v3）和掩码自编码器在统一数据集上预训练了基于Transformer的编码器。使用MoCo-v3预训练的Swin Transformer模型在作物-杂草语义分割任务上表现出卓越性能，优于在类似数据集上训练的先前模型。该预训练模型在不同传感器和地理区域也展现出强大的泛化能力。
-
新框架揭示视觉 Transformer 如何编码几何信息
研究人员开发了一个新框架，用于分析自监督视觉 Transformer (ViTs) 如何编码几何信息。通过使用奇异值分解 (SVD) 来检查线性探针的权重，他们发现预训练目标显著影响特征编码。具体来说，DINOv2 对齐空间特征以便于提取，而掩码自编码器 (MAE) 则分散这些信号，需要更广泛的上下文。研究还表明，几何表示具有高度可压缩性，并且几何精度在中间层达到峰值，然后转移到语义抽象。
-
MuSViT：首个用于乐谱表示的基础视觉模型发布
研究人员开发了MuSViT，这是一种专门用于理解乐谱的新型基础视觉模型。该模型是一个在IMSLP数百万份乐谱上预训练的Vision Transformer (ViT)，在乐谱识别和符号检测等任务上表现出色。与通用视觉编码器相比，MuSViT表现出更优越的性能，表明其专门的表示能够捕捉乐谱独特的符号结构。
-
新的RePAIR架构通过自监督学习国际象棋概念
研究人员开发了一种名为RePAIR的新型自监督学习架构，它结合了MAE、JEPA和BERT的元素。该架构旨在将序列数据（如国际象棋局面）编码为有意义的表示。在国际象棋中的实验表明，RePAIR可以在没有强化学习的情况下学习概念并推理棋子移动，从而实现对棋局轨迹的直观分析。
-
新的AI模型推动3D医学影像自监督学习进展
两篇新研究论文探讨了用于3D医学影像的高级自监督学习技术。其中一篇论文介绍了一个使用掩码自编码器（MAE）和联合嵌入预测架构（JEPA）的框架，以提高脑部MRI的疾病检测能力，并强调了不同的自监督目标如何使具有特定解剖结构的任务受益。另一篇论文提出了一个可泛化的3D框架和一个名为3DINO-ViT的模型，该模型在一个大型多模态数据集上进行了预训练，在各种分割和分类任务中表现出色，并显示出对分布外数据的泛化能力。
-
新型MAE利用多重分形分析改进医学图像诊断
研究人员开发了一种名为多重分形优化掩码自编码器（MO-MAE）的新型掩码自编码器（MAE）技术，用于医学图像分析。该方法利用多重分形分析，特别是Renyi熵，来识别和优先处理医学图像中复杂、信息丰富的区域进行掩码处理。通过关注这些具有诊断相关性的区域，MO-MAE旨在提高模型重建关键组织结构的能力，从而为计算机辅助诊断提供更准确、更有效的表示。在MedMNIST和COVID-CT等数据集上的初步评估显示，与现有模型相比，其性能令人鼓舞…
-
新的MAE使用多重分形分析改进医学图像重建
研究人员开发了一种用于医学图像分析的新型掩码自编码器（MAE），称为多重分形优化掩码自编码器（MO-MAE）。该方法利用多重分形分析来识别和优先处理医学图像中复杂、信息丰富的区域进行掩码。通过关注这些关键区域，MO-MAE旨在提高模型重建具有诊断意义特征的能力，在MedMNIST和COVID-CT等数据集上以最小的计算开销超越现有模型。
-
新的自监督框架提高了半导体检测精度
研究人员开发了AOI-SSL，一个新颖的自监督框架，旨在提高自动化光学检测中焊线半导体语义分割的效率。该框架利用掩码自编码器在小型工业数据集上进行预训练，显著减少了对大量标记示例的需求。该系统还结合了上下文推理方法，通过利用基于相似性的从密集编码器嵌入中检索，可以近乎即时地适应新设备或具有挑战性的样本。