JEPAs
PulseAugur coverage of JEPAs — every cluster mentioning JEPAs across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
LeWAM系统整合世界与动作建模以用于机器人技术
研究人员开发了LeWAM，一种新颖的机器人端到端系统，它利用联合嵌入预测架构（JEPAs）来同时建模世界和动作。该方法整合了潜在状态预测和动作流匹配的训练，并在潜在状态上加入了各向同性高斯约束。LeWAM在接触密集型和长时程任务的成功率方面取得了显著改进，并且规划速度远超之前的JEPA方法。该系统在行为克隆任务上也表现出有竞争力的性能，并有效地学习了用于指导规划和控制的与控制相关的表示。
-
新理论解释并缓解了AI架构中的表征坍塌问题
研究人员开发了一个新的理论框架，用于理解和缓解联合嵌入预测架构（JEPAs）中的表征坍塌问题。通过分析早期训练过程中的梯度流，他们识别出影响稳定性的驱动和衰减的竞争效应。该分析促成了ResidualPred的引入，这是一种Transformer预测器，在各种基准测试和I-JEPA预训练中提高了下游准确性。
-
US-JEPA框架推动超声成像表征学习
研究人员开发了US-JEPA，一个专为超声成像设计的新型自监督学习框架。该方法采用静态教师不对称潜在训练（SALT）目标，使用一个冻结的、特定领域的教师模型来提供稳定的潜在目标。这种方法将学生-教师优化解耦，使学生模型能够学习更丰富的语义先验。在UltraBench基准测试中，US-JEPA在超声和通用视觉基础模型上的表现具有竞争力或更优，证明了其对各种分类任务的有效性。
-
新的JEPA方法使用对比逆动力学来改进世界模型
研究人员开发了一种名为动作对比掩码转换模型（AC-MTM）的新方法，用于联合嵌入预测架构（JEPAs），以解决世界模型中的平凡解问题。与使用SIGReg等正则化器强制执行特定潜在分布的先前方法不同，AC-MTM使用对比逆动力学来防止崩溃。该方法训练一个逆动力学头来识别产生给定潜在转换的动作，从而在不需要预定义目标分布的情况下稳定表示。AC-MTM在更简单的任务上与现有方法相当，并在复杂的OGBench视觉场景任务上显著优于SIGReg…
-
新的诊断工具评估 AI 世界模型对视觉扰动的弹性
研究人员开发了一种名为动作条件预测一致性（ACPC）的新诊断工具，用于评估联合嵌入预测架构（JEPAs）中的世界模型。ACPC 衡量了在相同动作序列下，当世界模型接收到视觉扰动输入时，其预测与接收到干净输入时的预测之间的差异。该指标被证明可以限制由视觉扰动引起的预测误差，并有助于评估不同状态在回滚后的可区分性。在各种视觉控制任务上的实验表明，ACPC 在预测预测和成本误差的变化方面非常有效，并且在不同类型的扰动下都具有诊断能力。
-
新理论阐明了受控世界模型的可识别性
研究人员为受控世界模型开发了一种新理论，重点关注联合嵌入预测架构（JEPAs）。该理论解决了识别潜在状态和受控动力学的问题，尤其是在处理非线性观测和有限动作变化时。该工作确立了 JEPA 目标可以识别潜在状态和受控转换的条件，为近似优化提供了定量界限，并展示了有限动作覆盖对预测准确性的影响。
-
新理论将JEPA世界模型与SIGReg目标下的主动推理联系起来
一篇新的理论论文提出，当SIGReg目标用作联合嵌入预测架构（JEPA）中的反崩溃正则化器时，它可以作为主动推理（AIF）的有效变分自由能。该研究将四种非对比正则化器（VICReg、LogDet、PairDist和SIGReg）归类到熵估计器层次结构中，展示了SIGReg如何消除先验失校差距。这使得JEPA目标成为一个精确的信息瓶颈和AIF实用价值的代理，而其他正则化器则留下不可约项。
-
新的分层JEPA框架在心电图数据分析方面达到SOTA
研究人员开发了一种新颖的轻量级自监督学习框架ER-JEPA，用于分析多变量时间序列数据，并专门应用于心电图（ECG）数据。该框架受心脏病专家诊断方法的启发，采用两阶段分层结构，将两个联合嵌入预测架构（JEPA）与视觉Transformer（ViT）骨干网络相结合。在大量心电图记录数据集上进行预训练后，分层JEPA（H-JEPA）模型在ST-MEM基准测试中取得了最先进的性能，同时展示了快速的计算速度和极小的资源需求。
-
MJEPA：统一的视听学习架构揭晓
研究人员推出 MJEPA，这是一种新颖的联合嵌入预测架构，专为视听学习而设计。该方法使用单一的统一编码器来处理两种模态，通过在模态之间和模态内部使用单一的预测目标来简化学习过程。研究表明，跨模态预测对性能至关重要，MJEPA 的表征受益于跨模态学习。MJEPA 模型取得了优异的成果，在 AudioSet-20K 上超越了之前的冻结基线，并在其他基准测试中取得了有竞争力的性能，同时使用的视频数据量显著减少。
-
新的JEPA方法将任务进展与内容解耦
研究人员开发了一种名为子空间分解的JEPA（SD-JEPA）的新方法来改进潜在世界模型。该方法使用独立的子空间来解耦模型潜在空间中的任务进展与内容。与现有的JEPA基线相比，SD-JEPA在控制基准和名为Push-T的特定任务上表现出改进的性能。该模型的进展坐标还可以作为场景感知指南针，准确跟踪任务进展和语义事件。
-
HamJEPA通过哈密顿几何和辛预测推进JEPAs
研究人员推出了一种新颖的联合嵌入预测架构（JEPAs）方法HamJEPA，该方法超越了各向同性正则化。这种新方法将视图编码为相空间状态，并使用学习到的哈密顿跳蛙图进行跨视图预测。在CIFAR-100和ImageNet-100上的实验表明，与SIGReg等现有方法相比，kNN和线性探针精度有了显著提高。