LeJEPA
PulseAugur coverage of LeJEPA — every cluster mentioning LeJEPA across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的生成式方法改进了AI模型的潜在标记化
研究人员开发了一种新颖的自监督表示学习方法，用于生成模型中的可扩展潜在标记化。该方法使用表示损失，通过估计学习到的生成模型中的条件预测之间的信息差异来分解互信息。在经验上和理论上，它都避免了维度坍塌和特征抑制，性能优于DINO和LeJEPA等方法。该技术具有可扩展性，计算量的增加可以带来潜在标记化的改进，并且在像素空间生成方面，相对于直接扩散，展示了计算最优的改进。
-
新的fMRI基础模型CoFlu-Brain展示出强大的迁移学习能力
研究人员开发了CoFlu-Brain，一种用于功能性磁共振成像（fMRI）数据的新型基础模型。与使用单一相关矩阵的传统方法不同，CoFlu-Brain将逐帧共波动观测组织成多个视图，以捕捉更细微的区域交互作用。该模型在来自13,444名受试者的数据上进行了预训练，并在包括人口统计学、发育和临床分类在内的各种预测任务中展示了强大的迁移学习能力，其表现优于现有模型。
-
新的共享高斯化方法分析对比学习
研究人员引入了共享高斯化（SG），一种分析对比学习技术的新颖方法。SG对归一化数据视图进行高斯性检验，检测失配和不均匀性。研究表明，SG可以限制过度的InfoNCE损失，并深入了解SG和InfoNCE在存在干扰通道或有限批次大小情况下的不同目标。
-
DSReg 可在无需重建的情况下可证明地恢复世界潜在变量
研究人员开发了 DSReg（依赖稀疏性正则化），一种新颖的方法，可在无需重建、辅助监督或标签的情况下，可证明地从世界模型中恢复个体潜在变量。该方法建立在联合嵌入预测架构（JEPAs）提供的线性可识别性基础上，并引入了结构多样性条件，即不同的潜在变量在观测上留下不同的依赖足迹。DSReg 可事后应用于现有的线性识别表示，从而建立了首个能够恢复每个世界潜在变量的完全可识别 JEPA。
-
新的CARNIVAL模型利用模拟数据增强冷冻断层扫描中的蛋白质注释
研究人员开发了一个名为CARNIVAL的新自监督学习框架，用于冷冻断层扫描（cryo-ET）体积中的蛋白质注释。该模型利用模拟数据并整合来自模拟管线的信息（如蛋白质位置和身份），以增强其架构和损失函数。CARNIVAL在LeJEPA框架内利用从正向模型生成的领域特定增强配对视图来实现不变性目标。在未对真实断层图进行微调的情况下进行评估时，CARNIVAL的表现优于使用对比目标训练的最先进模型。
-
LeJEPA 架构已适配用于分子图编码器
研究人员已将自监督预训练架构 LeJEPA 应用于分子图神经网络，以评估其对分子性质预测的影响。预训练虽然增强了学习到的表示，但并未持续提升在抗生素活性预测或分子性质预测（ogbg-molhiv）等任务上的微调性能。然而，当预训练嵌入作为冻结探针使用时，其性能显著优于随机初始化，并且将这些嵌入与传统的 Morgan 指纹相结合，在 ogbg-molhiv 基准测试中取得了最佳性能。
-
新的Transformer架构优化自监督学习
研究人员通过将LeJEPA自监督学习框架与优化算法相结合，开发了一种仅注意力白盒Transformer模型。该方法优化了稀疏率降低目标，从而形成了一种仅注意力的架构，无需ISTA结构或MLP层。该模型在CIFAR-10和CIFAR-100数据集上实现了具有竞争力的分类精度，同时显著减少了参数数量。对标准ViTs的进一步研究表明，MLP模块可能是多余的，因为在知识蒸馏下用ReLU激活替换它们也可以减少参数而不会牺牲精度。
-
新技术旨在提高LLM KV缓存效率和准确性
研究人员正在探索新颖的方法来优化大型语言模型的KV缓存，以提高其效率。KV缓存是推理的关键组件，但以其高内存和带宽需求而闻名。一种称为局部分布恢复的方法，旨在通过专注于恢复logits的局部分布来减轻低比特KV缓存量化引起的准确性下降。另一项研究调查了训练时正则化技术（特别是SIGReg）是否可以重塑模型表示以更好地支持KV缓存量化，发现直接KV正则化在某些量化方案下是有益的，但其优势会随着更先进的方法而减弱。
-
AV-JEPA 模型推进视听自监督学习
研究人员推出了 AV-JEPA，这是一种新的自监督学习模型，它将 LeJEPA 扩展到处理音频和视觉数据。该模型利用早期融合的 Vision Transformer 和模态 dropout 进行掩码，旨在对齐全局视图和局部视图的嵌入。AV-JEPA 在 VGGSound 和 AudioSet 等数据集上取得了出色的分类性能，并提供了开箱即用的零样本视听检索功能，无需复杂的组件，如解码器或对比负样本。
-
新型Kepler-Encoder-v0.1模型融合机器人状态与视觉信息
研究人员开发了Kepler-Encoder-v0.1，这是一种专为机器人设计的新型多模态嵌入模型。该模型将视觉数据与本体感觉以及力/扭矩传感器信息整合到一个统一的潜在空间中。该方法旨在提高机器人对其自身状态的理解，特别是在视觉受限的领域，例如检测力和接触。
-
AI通过新框架推进符号音乐生成与分析 · 跟踪6个来源
研究人员正在开发用于符号音乐生成和分析的新AI框架。一种方法MIDI-RAE-JEPA使用带有Swin Transformer V2编码器的自监督学习来捕获分层音乐结构，在情感分类方面优于基线方法。另一篇论文介绍了一个统一的交互式罗马数字分析框架，该框架在预测性能和分析工作流程的响应能力之间取得平衡。此外，BeatEdit提出了一种基于编辑的符号音乐生成方法，将创作视为修订而非从头合成，并且一个神经符号框架通过将语言模型与验证和修复循…
-
面向对象的LeJEPA利用SAM改进图像表示学习
研究人员开发了LeJEPA的面向对象版本，这是一种用于图像编码器的自监督学习方法。通过利用SAM生成的对象掩码，这种新方法旨在提高数据效率，优于传统的图像级方法。面向对象的LeJEPA在各种下游任务中表现出卓越的性能，包括跟踪、分类、分割和重新识别，即使在缩减的数据集上进行训练也是如此。
-
新的统计正则化器增强了自监督学习的稳定性
研究人员推出了一系列新的自监督学习（SSL）统计正则化器，旨在提高表示坍塌的预防能力。所提出的方法在分析上将随机投影整合到球面上，为最大均值差异（MMD）、核斯泰因差异（KSD）和库尔巴克-莱布勒（KL）散度直接在球面上提供了确定性目标。与现有的随机切片正则化器相比，这些技术提供了更稳定的优化和更快的收敛速度，在ImageNet和Galaxy10等数据集上显示出了一致的改进。
-
新的DALE-CT模型在CT异常检测方面接近SOTA
研究人员开发了DALE-CT，这是一系列用于处理计算机断层扫描（CT）数据的新型2D基础模型。DALE-CT采用一种名为LeJEPA的自监督学习方法从头开始构建，并结合了新颖的3D深度感知预训练策略，同时包含自动化和人工标注的监督。该模型在CT-RATE数据集上实现了0.833的宏观AUROC，用于多异常检测，其性能接近最先进的3D视觉语言模型，但使用了更少的数据且没有文本监督。
-
Self-Soupervision 可从无标签数据中生成模型汤
研究人员开发了一种名为 Self-Soupervision 的新方法，该方法允许使用自监督学习 (SSL) 而非传统的监督学习来创建“模型汤”。这项技术能够组合来自多个模型的参数，即使是那些使用不同 SSL 算法或超参数训练的模型，也能提高预测准确性和鲁棒性。实验表明，Self-Souping 提高了在 ImageNet-C 和 LAION-C 等损坏数据集上的鲁棒性，并成功创建了性能优于单个模型的、由各种 SSL 成分组成的模型汤。
-
新的JEPA架构实现从像素到端到端的稳定训练
研究人员开发了LeWorldModel (LeWM)，一种新颖的联合嵌入预测架构 (JEPA)，可以从原始像素稳定地进行端到端训练。与之前脆弱的JEPA方法不同，LeWM仅使用两个损失项，可以在数小时内使用单个GPU进行训练，其规划速度比基于基础模型的世界模型快48倍。随后的论文介绍了UR-JEPA，它通过目标统一可校正性来改进JEPA训练，与LeJEPA相比，显示出改进的种子稳定性和独特的几何表示。
-
AI 进展涵盖视频生成、自主研究和内容检测
多个 AI 进展在不同领域得到强调。Luma Labs AI 和 Higgsfield 是从文本或参考图像生成逼真视频和图像的平台，旨在简化各种媒体的内容创建。在研究方面，一项研究分析了 LeJEPA 模型如何理解世界动态，Yann LeCun 参与了这项工作，重点是自监督表示学习。Google Cloud AI Research 推出了‘ScientistOne’用于自主研究，增强了 LLM 代理探索和验证假设的能力。此外，Hive…
-
SPHERE-JEPA框架优化超球体上的自监督学习
研究人员推出了SPHERE-JEPA，一个旨在解决表示几何局限性的新型自监督学习框架。与先前假设欧几里得空间和高斯嵌入的方法不同，SPHERE-JEPA专为超球体等流形上的分布而设计。该框架从理论上证明了超球体均匀性对于某些回归和k近邻任务是最优的，纠正了高斯先验引入的偏差。在实践中，SPHERE-JEPA显示出显著的改进，包括纹理检索性能提升6%，ImageNet-1K性能提升1.8%。
-
LeJEPA 理论证明高斯分布对于世界模型恢复是唯一的
研究人员发表了一篇论文，详细介绍了 LeJEPA 的理论基础，这是一种学习世界模型的方法。该研究证明，结合了对齐和高斯正则化的 LeJEPA，在特定条件下可以从非线性观测中线性恢复潜在变量。研究结果将高斯分布确定为实现这一保证的唯一选择，并通过不同维度和机器人控制任务的实验验证了其在实现最优潜在空间规划方面的效用。
-
JEPAMatch 论文提出用于半监督学习的几何塑形方法
研究人员推出了一种名为 JEPAMatch 的新方法，用于半监督学习，旨在提高标记数据稀缺时的模型性能。该方法超越了传统的基于置信度的伪标签方法，通过借鉴潜在欧几里得联合嵌入预测架构 (LeJEPA) 框架的思路，显式地塑形潜在空间中的几何表示。JEPAMatch 结合了标准的半监督损失和潜在空间正则化项，鼓励更结构化的表示和更快的收敛速度。在 CIFAR-100、STL-10 和 Tiny-ImageNet 数据集上的实验表明，JE…