LeJEPA
PulseAugur coverage of LeJEPA — every cluster mentioning LeJEPA across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的Transformer架构优化自监督学习
研究人员通过将LeJEPA自监督学习框架与优化算法相结合，开发了一种仅注意力白盒Transformer模型。该方法优化了稀疏率降低目标，从而形成了一种仅注意力的架构，无需ISTA结构或MLP层。该模型在CIFAR-10和CIFAR-100数据集上实现了具有竞争力的分类精度，同时显著减少了参数数量。对标准ViTs的进一步研究表明，MLP模块可能是多余的，因为在知识蒸馏下用ReLU激活替换它们也可以减少参数而不会牺牲精度。
-
新技术旨在提高LLM KV缓存效率和准确性
研究人员正在探索新颖的方法来优化大型语言模型的KV缓存，以提高其效率。KV缓存是推理的关键组件，但以其高内存和带宽需求而闻名。一种称为局部分布恢复的方法，旨在通过专注于恢复logits的局部分布来减轻低比特KV缓存量化引起的准确性下降。另一项研究调查了训练时正则化技术（特别是SIGReg）是否可以重塑模型表示以更好地支持KV缓存量化，发现直接KV正则化在某些量化方案下是有益的，但其优势会随着更先进的方法而减弱。
-
AV-JEPA 模型推进视听自监督学习
研究人员推出了 AV-JEPA，这是一种新的自监督学习模型，它将 LeJEPA 扩展到处理音频和视觉数据。该模型利用早期融合的 Vision Transformer 和模态 dropout 进行掩码，旨在对齐全局视图和局部视图的嵌入。AV-JEPA 在 VGGSound 和 AudioSet 等数据集上取得了出色的分类性能，并提供了开箱即用的零样本视听检索功能，无需复杂的组件，如解码器或对比负样本。
-
新型Kepler-Encoder-v0.1模型融合机器人状态与视觉信息
研究人员开发了Kepler-Encoder-v0.1，这是一种专为机器人设计的新型多模态嵌入模型。该模型将视觉数据与本体感觉以及力/扭矩传感器信息整合到一个统一的潜在空间中。该方法旨在提高机器人对其自身状态的理解，特别是在视觉受限的领域，例如检测力和接触。
-
AI通过新框架推进符号音乐生成与分析 · 跟踪6个来源
研究人员正在开发用于符号音乐生成和分析的新AI框架。一种方法MIDI-RAE-JEPA使用带有Swin Transformer V2编码器的自监督学习来捕获分层音乐结构，在情感分类方面优于基线方法。另一篇论文介绍了一个统一的交互式罗马数字分析框架，该框架在预测性能和分析工作流程的响应能力之间取得平衡。此外，BeatEdit提出了一种基于编辑的符号音乐生成方法，将创作视为修订而非从头合成，并且一个神经符号框架通过将语言模型与验证和修复循…
-
面向对象的LeJEPA利用SAM改进图像表示学习
研究人员开发了LeJEPA的面向对象版本，这是一种用于图像编码器的自监督学习方法。通过利用SAM生成的对象掩码，这种新方法旨在提高数据效率，优于传统的图像级方法。面向对象的LeJEPA在各种下游任务中表现出卓越的性能，包括跟踪、分类、分割和重新识别，即使在缩减的数据集上进行训练也是如此。
-
新的统计正则化器增强了自监督学习的稳定性
研究人员推出了一系列新的自监督学习（SSL）统计正则化器，旨在提高表示坍塌的预防能力。所提出的方法在分析上将随机投影整合到球面上，为最大均值差异（MMD）、核斯泰因差异（KSD）和库尔巴克-莱布勒（KL）散度直接在球面上提供了确定性目标。与现有的随机切片正则化器相比，这些技术提供了更稳定的优化和更快的收敛速度，在ImageNet和Galaxy10等数据集上显示出了一致的改进。
-
新的DALE-CT模型在CT异常检测方面接近SOTA
研究人员开发了DALE-CT，这是一系列用于处理计算机断层扫描（CT）数据的新型2D基础模型。DALE-CT采用一种名为LeJEPA的自监督学习方法从头开始构建，并结合了新颖的3D深度感知预训练策略，同时包含自动化和人工标注的监督。该模型在CT-RATE数据集上实现了0.833的宏观AUROC，用于多异常检测，其性能接近最先进的3D视觉语言模型，但使用了更少的数据且没有文本监督。
-
Self-Soupervision 可从无标签数据中生成模型汤
研究人员开发了一种名为 Self-Soupervision 的新方法，该方法允许使用自监督学习 (SSL) 而非传统的监督学习来创建“模型汤”。这项技术能够组合来自多个模型的参数，即使是那些使用不同 SSL 算法或超参数训练的模型，也能提高预测准确性和鲁棒性。实验表明，Self-Souping 提高了在 ImageNet-C 和 LAION-C 等损坏数据集上的鲁棒性，并成功创建了性能优于单个模型的、由各种 SSL 成分组成的模型汤。
-
新的JEPA架构实现从像素到端到端的稳定训练
研究人员开发了LeWorldModel (LeWM)，一种新颖的联合嵌入预测架构 (JEPA)，可以从原始像素稳定地进行端到端训练。与之前脆弱的JEPA方法不同，LeWM仅使用两个损失项，可以在数小时内使用单个GPU进行训练，其规划速度比基于基础模型的世界模型快48倍。随后的论文介绍了UR-JEPA，它通过目标统一可校正性来改进JEPA训练，与LeJEPA相比，显示出改进的种子稳定性和独特的几何表示。
-
AI 进展涵盖视频生成、自主研究和内容检测
多个 AI 进展在不同领域得到强调。Luma Labs AI 和 Higgsfield 是从文本或参考图像生成逼真视频和图像的平台，旨在简化各种媒体的内容创建。在研究方面，一项研究分析了 LeJEPA 模型如何理解世界动态，Yann LeCun 参与了这项工作，重点是自监督表示学习。Google Cloud AI Research 推出了‘ScientistOne’用于自主研究，增强了 LLM 代理探索和验证假设的能力。此外，Hive…
-
SPHERE-JEPA框架优化超球体上的自监督学习
研究人员推出了SPHERE-JEPA，一个旨在解决表示几何局限性的新型自监督学习框架。与先前假设欧几里得空间和高斯嵌入的方法不同，SPHERE-JEPA专为超球体等流形上的分布而设计。该框架从理论上证明了超球体均匀性对于某些回归和k近邻任务是最优的，纠正了高斯先验引入的偏差。在实践中，SPHERE-JEPA显示出显著的改进，包括纹理检索性能提升6%，ImageNet-1K性能提升1.8%。
-
LeJEPA 理论证明高斯分布对于世界模型恢复是唯一的
研究人员发表了一篇论文，详细介绍了 LeJEPA 的理论基础，这是一种学习世界模型的方法。该研究证明，结合了对齐和高斯正则化的 LeJEPA，在特定条件下可以从非线性观测中线性恢复潜在变量。研究结果将高斯分布确定为实现这一保证的唯一选择，并通过不同维度和机器人控制任务的实验验证了其在实现最优潜在空间规划方面的效用。
-
JEPAMatch 论文提出用于半监督学习的几何塑形方法
研究人员推出了一种名为 JEPAMatch 的新方法，用于半监督学习，旨在提高标记数据稀缺时的模型性能。该方法超越了传统的基于置信度的伪标签方法，通过借鉴潜在欧几里得联合嵌入预测架构 (LeJEPA) 框架的思路，显式地塑形潜在空间中的几何表示。JEPAMatch 结合了标准的半监督损失和潜在空间正则化项，鼓励更结构化的表示和更快的收敛速度。在 CIFAR-100、STL-10 和 Tiny-ImageNet 数据集上的实验表明，JE…
-
超越患者不变性：通过动作条件化 JEPAs 学习心脏动力学
研究人员开发了一种新的医疗保健领域自监督学习方法，超越了传统的不变性方法。他们提出的动作条件化世界模型旨在通过预测未来的生理状态来模拟疾病进展，从而将稳定的解剖学特征与动态的病理变化分离开来。该方法改编自 LeJEPA 框架，并在 MIMIC-IV-ECG 数据集上进行了评估，在关键的分诊任务中表现优于完全监督基线，并在资源匮乏的情况下显示出更高的样本效率。