Joint-Embedding Predictive Architectures
PulseAugur coverage of Joint-Embedding Predictive Architectures — every cluster mentioning Joint-Embedding Predictive Architectures across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
MorphologyFM模型从心电图和脉搏血氧波形中学习
研究人员开发了MorphologyFM，这是一种新颖的基础模型，旨在从心电图（ECG）和脉搏血氧饱和度（SpO2）波形中学习表示。与以往侧重于重建或预测的方法不同，MorphologyFM明确保留了这些生理信号在临床上具有重要意义的形态结构。该模型利用了形态感知自监督学习目标，结合了引导掩码、跨模态学习和对比潜在对齐。在心律失常和低血氧症预测等各种预测任务上的评估表明，MorphologyFM的性能优于现有的自监督学习技术，并证明了E…
-
Qantara JEPA模型支持从单一检查点进行多范式控制
研究人员推出了一种新颖的联合嵌入预测架构（JEPA）——Qantara，它允许单个模型检查点在推理时支持从原始像素进行控制的多种推理范式。与之前在训练期间承诺轨迹优化或行为克隆的JEPA模型不同，Qantara的联合训练目标在推理时提供了灵活性。这种多范式方法包括潜在规划、行为克隆和逆动力学，在OGBench-Cube和LeWM控制套件等基准测试中展示了最先进的性能。
-
Fast LeWorldModel 通过并行预测加速视觉规划
研究人员开发了 Fast LeWorldModel (Fast-LeWM)，这是对现有联合嵌入预测架构 (JEPAs)，如用于视觉规划的 LeWorldModel (LeWM) 的一项改进。与 LeWM 评估动作序列的计算密集型单步潜在转移模型不同，Fast-LeWM 采用并行动作前缀预测。这种新方法通过编码动作前缀并同时预测未来潜在状态来模拟多个视界上的累积动作效应。该方法显著减少了规划时间和潜在误差累积，从而提高了各种任务的成功率。
-
新的DCGWM架构可防止世界模型中的目标干扰崩溃
研究人员推出了一种新颖的双通道接地世界建模 (DCGWM) 架构，旨在防止联合嵌入预测架构 (JEPAs) 中的目标干扰崩溃 (OIC)。当从两种不同的数据类型（例如物理动力学和社会行为动力学）学习时，会发生 OIC，导致一个学习通道主导并降级另一个通道。DCGWM 通过使用具有内向梯度流的分区潜在空间来解决此问题，将物理和行为子空间分开。这种结构分离，结合特定的损失函数和隔离的生成渲染层，旨在为两个接地通道维护表征的完整性。
-
新的RePAIR架构通过自监督学习国际象棋概念
研究人员开发了一种名为RePAIR的新型自监督学习架构，它结合了MAE、JEPA和BERT的元素。该架构旨在将序列数据（如国际象棋局面）编码为有意义的表示。在国际象棋中的实验表明，RePAIR可以在没有强化学习的情况下学习概念并推理棋子移动，从而实现对棋局轨迹的直观分析。
-
新架构实现世界模型近乎无限的时间一致性
一篇新研究论文介绍了一个物理基础符号架构（PGSA），它克服了当前统计世界模型的局限性。与需要高斯动力学来实现线性可辨识性和时间一致性的现有模型不同，PGSA 可以在所有物理状态下实现精确的线性可辨识性。这种新架构还提供了近乎无限的时间一致性，这意味着即使对于非高斯系统，其误差也仅受数值精度限制。
-
新的AI模型推动3D医学影像自监督学习进展
两篇新研究论文探讨了用于3D医学影像的高级自监督学习技术。其中一篇论文介绍了一个使用掩码自编码器（MAE）和联合嵌入预测架构（JEPA）的框架，以提高脑部MRI的疾病检测能力，并强调了不同的自监督目标如何使具有特定解剖结构的任务受益。另一篇论文提出了一个可泛化的3D框架和一个名为3DINO-ViT的模型，该模型在一个大型多模态数据集上进行了预训练，在各种分割和分类任务中表现出色，并显示出对分布外数据的泛化能力。
-
新的JEPA架构实现从像素到端到端的稳定训练
研究人员开发了LeWorldModel (LeWM)，一种新颖的联合嵌入预测架构 (JEPA)，可以从原始像素稳定地进行端到端训练。与之前脆弱的JEPA方法不同，LeWM仅使用两个损失项，可以在数小时内使用单个GPU进行训练，其规划速度比基于基础模型的世界模型快48倍。随后的论文介绍了UR-JEPA，它通过目标统一可校正性来改进JEPA训练，与LeJEPA相比，显示出改进的种子稳定性和独特的几何表示。
-
新的 JEPA 模型通过修正分布匹配学习稀疏表示
研究人员开发了 Rectified LpJEPA，这是一种联合嵌入预测架构 (JEPA) 的新方法，旨在创建更有效和稀疏的表示。与之前通过正则化趋向高斯分布而偏爱密集表示的方法不同，Rectified LpJEPA 使用了修正分布匹配正则化 (RDMReg) 技术。该方法允许显式控制表示的稀疏性，同时保持下游任务的性能，在图像分类中展示了稀疏性和准确性之间的有利权衡。
-
Yann LeCun 驳斥 LLM 是通往 AGI 的道路，力挺 JEPA
Yann LeCun 认为，当前的大型语言模型（LLMs）由于缺乏预测后果或执行基于搜索的推理的能力，并非通往人类水平智能的道路。他提倡他的联合嵌入预测架构（JEPA）方法，该方法侧重于世界模型的自监督学习。JEPA 旨在通过预测缺失的数据嵌入来学习表征，他认为这种方法在实现通用智能方面更有前景。