Mae
PulseAugur coverage of Mae — every cluster mentioning Mae across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
-
新方法使用环境信号探测地理空间自监督学习表示
研究人员开发了一种新方法，通过环境信号探测来评估地理空间数据中的自监督学习（SSL）表示。该方法使用共置的ERA5再分析变量（如温度和降水）来评估DINO、MAE和MoCo等SSL模型在多大程度上编码了与环境条件相关的信息。研究发现，表示层面的指标可以区分下游任务性能相似的模型，并且环境信号的可访问性与环境依赖性任务的性能相关。
-
SiamJEPA 使用 Siamese 编码器改进自监督学习
研究人员引入了 SiamJEPA，这是一种新颖的自监督表示学习方法，它在联合嵌入预测架构 (JEPA) 中使用了 Siamese 学生编码器。与之前使用单个编码器的 JEPA 模型不同，SiamJEPA 采用了 Siamese 编码器，其灵感来源于基于大脑的学习框架。在 ImageNet 上的实验表明，这种 Siamese 架构可以作为一种正则化器，提高表示的可分离性并加速早期训练阶段。在有限的训练预算下，SiamJEPA 的性能也优…
-
新的Moonstone基准和模型推动月球遥感发展
研究人员开发了Moonstone，一个专为月球遥感设计的多模态基础模型和基准。该项目解决了月球数据集碎片化以及该领域机器学习缺乏标准化评估方法的问题。该项目引入了一个新颖的预训练数据集，包含来自五个月球任务的七个仪器家族的28个通道，以及一个模态分组掩码自编码器（MG-MAE）架构。该模型包含诸如缺失数据注意力掩码和光谱连续性正则化等功能，以确保物理上合理的重建。MG-MAE模型预训练的特征在分类、回归和分割等各种下游任务上均优于现有基线。
-
大语言模型驱动结构化数据的自动化特征工程
研究人员开发了进化特征工程（EFE），一个利用大语言模型（LLMs）自动发现结构化数据预处理转换的新框架。EFE将这些转换表示为Python程序，能够无缝集成到现有的机器学习管道中。该框架利用数据集上下文、汇总统计和下游性能反馈来优化候选程序。EFE在时间序列预测中已取得成功，使用Chronos-2等模型将误差降低了3%或更多；在表格预测中，它能够演化出紧凑、可解释的特征程序，其性能与现有的基于LLM的方法相当或更优。
-
新的自监督学习方法增强了对称数据的表示
研究人员推出了一种名为 Mirror-Fusion-Augmented Self-Supervised Learning (MFASSL) 的框架，旨在改进表示学习，尤其适用于具有双边对称性的数据。与强制执行严格翻转不变性的标准方法不同，MFASSL 通过创建镜像配对视图并使用 Mirror-Fusion Attention 模块来引入软反射先验。这种方法允许镜像区域之间进行自适应交互，同时保留非对称信息。在 CheXpert 和 C…
-
新型SAMBA模型利用Mamba和散布引导掩码增强SAR目标识别能力
研究人员推出了一种新颖的SAMBA基础模型，专为合成孔径雷达（SAR）目标识别而设计。SAMBA采用Mamba编码器来解决传统Transformer架构的计算复杂性问题，并结合了利用SAR物理成像特性的散布引导掩码自动编码器（SG-MAE）策略。该方法旨在改善自监督预训练，尤其是在标注数据稀缺的情况下，并在各种下游分类和检测任务上展示了最先进的性能。
-
新的可控视觉表示允许对图像特征进行自然语言引导
研究人员引入了一类新的视觉表示，称为可控视觉表示（Steerable Visual Representations），旨在允许对图像特征进行自然语言引导。与现有关注显著线索或在以语言为中心的输出方面效果不佳的方法不同，该方法通过交叉注意力（cross-attention）的早期融合，将文本直接注入视觉编码器层。这使得表示能够关注图像中的任何所需对象，同时保持底层质量，在异常检测和个性化对象判别等任务上表现强劲。
-
新的AnomNOVIC系统使机器人能够在没有提示的情况下识别未知对象
研究人员开发了AnomNOVIC，一个用于机器人在现实环境中识别未见对象的创新框架。该系统结合了用于异常检测的掩码自编码器（MAE）和NOVIC图像分类器，实现了无提示、开放词汇的对象识别。AnomNOVIC在受控和实际场景中均表现出比YOLO-World-v2等现有基线更高的准确性。
-
新的 GMM 池化方法增强了超声图像早产预测能力
研究人员开发了一种新的高斯混合模型 (GMM) 池化方法，用于多示例学习 (MIL)，以改进超声图像的早产预测。该方法对每位患者的多个宫颈图像的特征分布进行建模，捕捉患者内部的变异性，这与使用单一图像估计的标准 MIL 聚合器不同。GMM 池化方法在早产预测方面显示出显著的改进，将 PR-AUC 从 0.44 提高到 0.56。它还在淋巴结转移基准测试中取得了最先进的结果，分类的 F1 分数达到 0.91，ROC-AUC 达到 0.89。
-
CUPID深度伪造检测器使用紫外贴图和MAE进行可解释分析
研究人员开发了CUPID，一种新颖的深度伪造检测方法，该方法从3D面部模型重建紫外纹理贴图，并利用掩码自编码器（MAE）进行分析。该方法在训练期间不需要深度伪造视频或特定人物（POI）身份。与现有的最先进方法相比，CUPID在抗缩放和压缩等后处理技术方面表现出优越的性能和鲁棒性，同时通过解码的残差贴图提供了更快的推理时间和增强的可解释性。
-
新方法利用深度学习改进电力负荷预测
研究人员开发了一种基于Delta的目标重构方法，用于使用LSTM和Transformer等深度学习模型的短期电力负荷预测。该方法预测时间步长之间的负荷变化，而不是绝对负荷，旨在稳定学习过程。使用来自印度和NASA POWER气象数据进行的实验表明，这种重构显著提高了提前一小时的预测精度，将神经网络的MAPE降低了50%以上，尽管其有效性因模型和预测范围而异。
-
新的漂移-RAE方法增强了表示自编码器蒸馏
研究人员开发了一种名为Drift-RAE的新方法，以改进表示自编码器（RAE）的蒸馏过程。该技术解决了RAE潜在空间中的各向异性和大曲率问题，这些问题以前阻碍了训练稳定性。通过将漂移范式应用于RAE并进行修改以提高训练稳定性，Drift-RAE在ImageNet 256数据集上取得了有竞争力的结果，并且与现有方法相比，蒸馏步骤大大减少。
-
新的 MoFore 框架推动自监督视频表示学习发展
研究人员推出了一种新颖的自监督视频表示学习框架 MoFore，该框架专注于从远距离上下文剪辑预测未来的潜在嵌入。与依赖像素级重建或语义对齐的先前方法不同，MoFore 学习时间预测表示。该框架结合了随机时间间隔预测和对比正则化，以增强鲁棒性并防止表示崩溃。在 UCF101 数据集上的实验表明，MoFore 在不需要动作标签的情况下学习到了时间上一致且语义上有意义的表示。
-
新的RePAIR架构通过自监督学习国际象棋概念
研究人员开发了一种名为RePAIR的新型自监督学习架构，它结合了MAE、JEPA和BERT的元素。该架构旨在将序列数据（如国际象棋局面）编码为有意义的表示。在国际象棋中的实验表明，RePAIR可以在没有强化学习的情况下学习概念并推理棋子移动，从而实现对棋局轨迹的直观分析。
-
Self-Soupervision 可从无标签数据中生成模型汤
研究人员开发了一种名为 Self-Soupervision 的新方法，该方法允许使用自监督学习 (SSL) 而非传统的监督学习来创建“模型汤”。这项技术能够组合来自多个模型的参数，即使是那些使用不同 SSL 算法或超参数训练的模型，也能提高预测准确性和鲁棒性。实验表明，Self-Souping 提高了在 ImageNet-C 和 LAION-C 等损坏数据集上的鲁棒性，并成功创建了性能优于单个模型的、由各种 SSL 成分组成的模型汤。
-
新数据集和AI方法助力皮肤病变分类
研究人员开发了新的数据集和方法，以提高AI对皮肤镜图像中皮肤病变进行分类的能力。一篇论文介绍了IMA++，这是一个大型数据集，包含来自近15,000张图像的17,000多个分割掩码，包括每张图像的多个注释，以帮助研究注释者偏好。另一项研究DerMAE使用合成数据生成和知识蒸馏来训练轻量级模型，以实现高效的设备上皮肤病变分类，解决了类别不平衡问题。第三篇论文提出了一种对比元域适应策略，以增强皮肤病变分类模型在不同临床和采集条件下的鲁棒性。
-
新AI方法拥抱遗忘以实现更好的域适应
研究人员开发了一种新的域增量学习方法，该方法拥抱灾难性遗忘而不是试图阻止它。该方法使用特定于域的LoRA适配器和一个自监督掩码自动编码器头。在推理时，MAE头上的测试时训练有助于识别正确的适配器以回忆特定于域的知识，使其适用于视频等流式数据。
-
新的 LNN-PINN 框架提高了物理信息神经网络的准确性
研究人员开发了 LNN-PINN，这是一个旨在提高物理信息神经网络 (PINNs) 准确性的新框架。该框架将液体残差门控架构集成到 PINNs 的隐藏层中，而无需更改核心物理建模或优化过程。在四个基准问题上的测试表明，在相同的训练条件下，LNN-PINN 与标准 PINNs 相比，始终实现了更低的 RMSE 和 MAE。该架构在各种问题复杂度下也证明了其适应性和稳定性，为提高科学和工程应用中的预测能力提供了一种简洁而有效的方法。
-
HEPA架构利用自监督学习预测关键时间序列事件
研究人员开发了HEPA，一种用于预测多元时间序列数据中关键事件的新型自监督架构。该架构使用经过联合嵌入预测架构（JEPA）预训练的因果Transformer编码器来预测未来表示，使其能够从无标签数据中学习。HEPA在包括水污染和网络攻击检测在内的14个基准测试中表现出色，在标记数据量和调整参数数量显著减少的情况下，其性能优于PatchTST和Chronos-2等现有模型。
-
新的MVProbe框架通过权重空间学习分析AI模型
研究人员开发了MVProbe，一种新颖的多视图探测框架，旨在直接从其参数分析大型开源AI模型。该方法通过提取可学习的探测向量的表示来解决处理完整模型权重的计算限制。MVProbe通过纳入高阶相关性模式，增强了现有的单视图探测技术，在ResNet和Stable Diffusion LoRA适配器等各种架构的模型丛林基准测试中表现优于先前的方法。