Joint-Embedding Predictive Architectures
PulseAugur coverage of Joint-Embedding Predictive Architectures — every cluster mentioning Joint-Embedding Predictive Architectures across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新研究强调医学影像AI中的可预测性偏差
一篇新研究论文提出了在用于医学影像的联合嵌入预测架构（JEPAs）中存在的“可预测性偏差”概念。研究发现，虽然JEPAs可以准确预测解剖结构，但它们难以捕捉对临床诊断至关重要的局部、偶发性病变。研究人员开发了TAP-JEPA，一个在CT扫描上训练的模型，该模型虽然与现有方法具有竞争力，但显示预测路径显著将病变表征移向正常解剖结构。这表明当前的训练目标可能未能充分保留临床相关的诊断特征。
-
DSReg 可在无需重建的情况下可证明地恢复世界潜在变量
研究人员开发了 DSReg（依赖稀疏性正则化），一种新颖的方法，可在无需重建、辅助监督或标签的情况下，可证明地从世界模型中恢复个体潜在变量。该方法建立在联合嵌入预测架构（JEPAs）提供的线性可识别性基础上，并引入了结构多样性条件，即不同的潜在变量在观测上留下不同的依赖足迹。DSReg 可事后应用于现有的线性识别表示，从而建立了首个能够恢复每个世界潜在变量的完全可识别 JEPA。
-
新研究推动机器人世界模型以实现高效规划和控制 · 已追踪 10 个来源
近期研究探索了用于机器人和智能体规划的世界动作模型（WAMs）的进展。WAM-Cache 和 WAMJET 通过优化键值重用和采用智能体约束来识别和优化瓶颈，专注于加速推理，在不影响动作质量的情况下实现了显著的加速。MobileWorldBench 为 GUI 智能体的语义世界模型引入了一个基准和数据集，超越了像素预测，实现了自然语言状态转换。Tempo 和 COSTGRAD 为潜在世界模型提供了新的规划目标和令牌选择方法，提高了长时…
-
JEPA-Anything框架实现领域无关的世界建模
研究人员推出了一种名为JEPA-Anything的新框架，旨在实现领域无关的世界建模。该方法通过采用正交预测分解（OPF）将潜在目标分解为互补因子，从而扩展了联合嵌入预测架构。然后，这些因子通过单独的路径进行学习，并在共享的预测设计中重新组合。该框架已在视觉、生物学、临床轨迹、控制、分子动力学、物理场和天气等多个领域进行了评估，证明了其在预测准确性和泛化能力方面的改进。
-
新的Med-D-JEPA模型推动3D脑部MRI合成与分类
研究人员已将主要用于自监督表示学习的框架联合嵌入预测架构（JEPAs）应用于3D脑部MRI合成。提出的Med-D-JEPA模型结合了掩码上下文预测、表示对齐和扩散技术，以生成逼真的医学图像。在BraTS2019和OASIS-1数据集上的评估表明，与现有方法相比，Med-D-JEPA在图像保真度和多样性方面取得了具有竞争力或更优的性能。此外，使用Med-D-JEPA进行的合成预训练显著提高了下游分类和分割任务的性能。
-
Orthogonal JEPA 框架通过因子化状态增强潜在世界模型
研究人员推出了一种新颖的潜在世界建模框架 Orthogonal JEPA，旨在提高预测和推理能力。该方法通过将预测状态分解为正交分量，每个分量都有自己的预测路径，从而解决了标准联合嵌入预测架构 (JEPAs) 的局限性。这种方法旨在防止冗余容量分配，并为复杂系统提供更清晰的梯度。在视觉、健康记录和分子动力学等多个领域的实验证明了其在表示质量、预测和长时稳定性方面的有效性。
-
新的JEPA方法使用对比逆动力学来改进世界模型
研究人员开发了一种名为动作对比掩码转换模型（AC-MTM）的新方法，用于联合嵌入预测架构（JEPAs），以解决世界模型中的平凡解问题。与使用SIGReg等正则化器强制执行特定潜在分布的先前方法不同，AC-MTM使用对比逆动力学来防止崩溃。该方法训练一个逆动力学头来识别产生给定潜在转换的动作，从而在不需要预定义目标分布的情况下稳定表示。AC-MTM在更简单的任务上与现有方法相当，并在复杂的OGBench视觉场景任务上显著优于SIGReg…
-
新的诊断工具评估 AI 世界模型对视觉扰动的弹性
研究人员开发了一种名为动作条件预测一致性（ACPC）的新诊断工具，用于评估联合嵌入预测架构（JEPAs）中的世界模型。ACPC 衡量了在相同动作序列下，当世界模型接收到视觉扰动输入时，其预测与接收到干净输入时的预测之间的差异。该指标被证明可以限制由视觉扰动引起的预测误差，并有助于评估不同状态在回滚后的可区分性。在各种视觉控制任务上的实验表明，ACPC 在预测预测和成本误差的变化方面非常有效，并且在不同类型的扰动下都具有诊断能力。
-
UniJEPA 统一图像和视频视觉世界建模
研究人员推出 UniJEPA，这是一种新颖的统一架构，用于自监督视觉世界建模。该新框架将图像级光度预测和视频级时间预测整合到一个单一的潜在空间中。UniJEPA 使用单一的端到端目标，简化了训练，并证明共享的潜在空间可以支持可控的抽象，以实现不变结构和等变动力学。
-
JEPA模型在处理语言的条件结构时面临挑战
一篇新论文探讨了将联合嵌入预测架构（JEPA）应用于语言处理所面临的挑战，将其在图像和音频领域的有效性与在文本领域的局限性进行了对比。研究强调，确定性的JEPA风格潜在预测在处理语言的条件结构时存在困难，因为语言可以有多种有效的补全方式，这与图像更具空间连续性的性质不同。I-JEPA和T-JEPA模型的实验表明，存在互信息饱和、训练-验证不稳定性以及下游迁移能力差等问题，这表明文本的JEPA目标必须能够容纳多种合理的补全，而不是将它们…
-
Temporal-Distance JEPA 增强世界模型预测控制
研究人员推出了一种新颖的潜在世界模型预测控制表示学习方法——Temporal-Distance JEPA (TD-JEPA)。该方法通过从无奖励轨迹中挖掘定向时间成本来增强联合嵌入预测架构 (JEPAs)，提高了根据目标进展对想象的未来进行排名的能力。TD-JEPA 在 Two-Room 和 OGB-Cube 等环境中展示了显著的性能提升，通过有效弥合训练和规划之间的差距，超越了先前的方法。
-
新的正则化方法解决自监督学习中的偏见问题
研究人员推出了一种名为无偏开放世界正则化（UOWReg）的新型框架，旨在减轻自监督学习（SSL）和联合嵌入预测架构（JEPAs）中的偏见。与使用全局正则化的先前方法不同，UOWReg 侧重于条件分布匹配，确保学习到的表示与目标属性之间的统计独立性。该方法在 CelebA 等基准测试中有效减少了偏见违规行为，同时保持了具有竞争力的准确性。此外，UOWReg 在防止复杂场景（如新提出的合成雕刻任务）中的亚群崩溃方面显示出潜力，通过有效分离细微特征。
-
Yann LeCun 提出 JEPA 以增强 LLM 对物理世界的理解
Yann LeCun 在最近的一次采访中，讨论了当前大型语言模型 (LLM) 在真正理解物理世界方面的局限性，对比了它们回答问题的能力与执行需要物理理解的任务的能力。他提出了联合嵌入预测架构 (JEPA) 作为一种潜在的解决方案，以赋予 AI 对物理学和现实世界动态更好的掌握。此次讨论引发了关于 JEPA 是否代表了真正的架构进步，还是在人工智能发展中寻找一个难以捉摸的“万能药”的争论。
-
MorphologyFM模型从心电图和脉搏血氧波形中学习
研究人员开发了MorphologyFM，这是一种新颖的基础模型，旨在从心电图（ECG）和脉搏血氧饱和度（SpO2）波形中学习表示。与以往侧重于重建或预测的方法不同，MorphologyFM明确保留了这些生理信号在临床上具有重要意义的形态结构。该模型利用了形态感知自监督学习目标，结合了引导掩码、跨模态学习和对比潜在对齐。在心律失常和低血氧症预测等各种预测任务上的评估表明，MorphologyFM的性能优于现有的自监督学习技术，并证明了E…
-
Qantara JEPA模型支持从单一检查点进行多范式控制
研究人员推出了一种新颖的联合嵌入预测架构（JEPA）——Qantara，它允许单个模型检查点在推理时支持从原始像素进行控制的多种推理范式。与之前在训练期间承诺轨迹优化或行为克隆的JEPA模型不同，Qantara的联合训练目标在推理时提供了灵活性。这种多范式方法包括潜在规划、行为克隆和逆动力学，在OGBench-Cube和LeWM控制套件等基准测试中展示了最先进的性能。
-
Fast LeWorldModel 通过并行预测加速视觉规划
研究人员开发了 Fast LeWorldModel (Fast-LeWM)，这是对现有联合嵌入预测架构 (JEPAs)，如用于视觉规划的 LeWorldModel (LeWM) 的一项改进。与 LeWM 评估动作序列的计算密集型单步潜在转移模型不同，Fast-LeWM 采用并行动作前缀预测。这种新方法通过编码动作前缀并同时预测未来潜在状态来模拟多个视界上的累积动作效应。该方法显著减少了规划时间和潜在误差累积，从而提高了各种任务的成功率。
-
新的DCGWM架构可防止世界模型中的目标干扰崩溃
研究人员推出了一种新颖的双通道接地世界建模 (DCGWM) 架构，旨在防止联合嵌入预测架构 (JEPAs) 中的目标干扰崩溃 (OIC)。当从两种不同的数据类型（例如物理动力学和社会行为动力学）学习时，会发生 OIC，导致一个学习通道主导并降级另一个通道。DCGWM 通过使用具有内向梯度流的分区潜在空间来解决此问题，将物理和行为子空间分开。这种结构分离，结合特定的损失函数和隔离的生成渲染层，旨在为两个接地通道维护表征的完整性。
-
新的RePAIR架构通过自监督学习国际象棋概念
研究人员开发了一种名为RePAIR的新型自监督学习架构，它结合了MAE、JEPA和BERT的元素。该架构旨在将序列数据（如国际象棋局面）编码为有意义的表示。在国际象棋中的实验表明，RePAIR可以在没有强化学习的情况下学习概念并推理棋子移动，从而实现对棋局轨迹的直观分析。
-
新架构实现世界模型近乎无限的时间一致性
一篇新研究论文介绍了一个物理基础符号架构（PGSA），它克服了当前统计世界模型的局限性。与需要高斯动力学来实现线性可辨识性和时间一致性的现有模型不同，PGSA 可以在所有物理状态下实现精确的线性可辨识性。这种新架构还提供了近乎无限的时间一致性，这意味着即使对于非高斯系统，其误差也仅受数值精度限制。
-
新的AI模型推动3D医学影像自监督学习进展
两篇新研究论文探讨了用于3D医学影像的高级自监督学习技术。其中一篇论文介绍了一个使用掩码自编码器（MAE）和联合嵌入预测架构（JEPA）的框架，以提高脑部MRI的疾病检测能力，并强调了不同的自监督目标如何使具有特定解剖结构的任务受益。另一篇论文提出了一个可泛化的3D框架和一个名为3DINO-ViT的模型，该模型在一个大型多模态数据集上进行了预训练，在各种分割和分类任务中表现出色，并显示出对分布外数据的泛化能力。