Vicreg
PulseAugur coverage of Vicreg — every cluster mentioning Vicreg across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新研究推动机器人世界模型以实现高效规划和控制 · 已追踪 10 个来源
近期研究探索了用于机器人和智能体规划的世界动作模型（WAMs）的进展。WAM-Cache 和 WAMJET 通过优化键值重用和采用智能体约束来识别和优化瓶颈，专注于加速推理，在不影响动作质量的情况下实现了显著的加速。MobileWorldBench 为 GUI 智能体的语义世界模型引入了一个基准和数据集，超越了像素预测，实现了自然语言状态转换。Tempo 和 COSTGRAD 为潜在世界模型提供了新的规划目标和令牌选择方法，提高了长时…
-
自监督学习增强物理学中的共振质量回归
研究人员开发了一种使用VICReg预训练的Transformer编码器的自监督学习方法，以改进高能物理学中的共振质量回归。该方法旨在克服传统监督学习的局限性，后者在对撞机实验中常常难以处理系统不确定性和分布变化。与监督模型相比，预训练模型在实际的腐蚀和SUSY类级联衰变中的重共振下表现出更稳定的性能和更尖锐的共振峰。
-
新的非对比方法改进了语义代码克隆检测
研究人员开发了LWVIC4Code，一种用于检测IV型代码克隆的新型非对比表示学习方法，IV型代码克隆在语义上等价但语法上不同。该方法基于VICReg框架，并结合了跨层一致性正则化和依赖于深度的层加权，以增强Transformer层之间的语义理解。在Python和多语言数据集上的实验表明，LWVIC4Code在不依赖负采样的情况下取得了有竞争力的性能，在某些情况下优于对比学习基线和大型语言模型，并在不同编程语言之间展现出强大的泛化能力。
-
Polis框架推进城市规模3D自监督学习
研究人员推出Polis，一个专为大规模3D城市环境设计的创新自监督学习框架。与在室内或物体级别数据上训练的现有模型不同，Polis利用了12.8k个户外场景的混合数据，并结合了几何匹配、草图各向同性高斯正则化（SIGReg）和抗坍塌项。评估表明，Polis在城市规模数据集上的表现显著优于其他自监督方法，平均mIoU达到23.8%，而次优编码器的平均mIoU为16.3%。该研究还强调了根据城市数据的特定几何和空间特征定制自监督目标的好处…
-
新型LpWM模型采用稀疏表示以改进AI规划
研究人员推出了一种新的JEPA模型LpWorldModel (LpWM)，该模型利用了Rectified Distribution Matching Regularization (RDMReg) 来鼓励稀疏表示。这种方法与倾向于通过将特征与各向同性高斯匹配的传统方法形成了对比。经验上，LpWM在某些任务上通过降低预测器复杂度，表现出更高的规划成功率，比密集表示高出57%。学习到的稀疏表示也揭示了可解释的结构，其中不同的模式对应于离散…
-
CrevasseSeg 框架采用标签高效方法进行无人机冰川测绘
研究人员开发了 CrevasseSeg 框架，该框架专为使用无人机 (UAV) 影像进行冰川冰裂缝的高效分割而设计。该方法旨在减少对通常成本高昂且需要专家知识的广泛像素级标注的需求。该研究对各种自监督学习目标和架构进行了基准测试，发现与非线性分类器结合的卫星影像预训练特征，即使在标记数据有限的情况下也能显著提高性能。
-
新研究探索用于二进制程序聚类的自监督学习
一项新研究探索了自监督学习（SSL）和表格表示学习（TRL）在二进制程序聚类中的应用，这是网络安全中用于恶意软件分析的关键任务。该研究在 Ember 和 Bodmas 数据集上分两个阶段进行，发现像 BYOL 和 SimSiam 这样的改编的基于视觉的 SSL 模型表现与监督方法相当。在无监督学习中，VIME 模型设定了新的最先进水平，而一种称为 VIME-R 的检索增强扩展进一步改进了它，通过更具信息量的训练对增强了恶意软件分析。
-
新框架使用自监督学习进行早期脓毒症预测
研究人员开发了一种使用自监督学习技术预测脓毒症的新框架，特别是联合嵌入预测架构（JEPA）和方差-不变-协方差正则化（VICReg）。这些方法应用于来自 MIMIC-III 数据库的电子健康记录，旨在克服不规则数据采样和高缺失率等挑战。JEPA 方法结合 XGBoost，在发病时间实现了 0.636 的有竞争力的精确率-召回率曲线下面积（AUPRC），而 VICReg 预训练编码器则展示了时间上持久的表示，在不同预测范围内的鲁棒性方面…
-
新理论将JEPA世界模型与SIGReg目标下的主动推理联系起来
一篇新的理论论文提出，当SIGReg目标用作联合嵌入预测架构（JEPA）中的反崩溃正则化器时，它可以作为主动推理（AIF）的有效变分自由能。该研究将四种非对比正则化器（VICReg、LogDet、PairDist和SIGReg）归类到熵估计器层次结构中，展示了SIGReg如何消除先验失校差距。这使得JEPA目标成为一个精确的信息瓶颈和AIF实用价值的代理，而其他正则化器则留下不可约项。
-
新的DCGWM架构可防止世界模型中的目标干扰崩溃
研究人员推出了一种新颖的双通道接地世界建模 (DCGWM) 架构，旨在防止联合嵌入预测架构 (JEPAs) 中的目标干扰崩溃 (OIC)。当从两种不同的数据类型（例如物理动力学和社会行为动力学）学习时，会发生 OIC，导致一个学习通道主导并降级另一个通道。DCGWM 通过使用具有内向梯度流的分区潜在空间来解决此问题，将物理和行为子空间分开。这种结构分离，结合特定的损失函数和隔离的生成渲染层，旨在为两个接地通道维护表征的完整性。
-
新AI模型通过精确等变性实现零样本泛化
研究人员开发了一种新方法来构建在整个训练过程中保持精确等变性的潜在世界模型。此属性使模型能够在对称群上实现零样本泛化，这意味着它们可以在无需显式重新训练的情况下将学习到的动力学应用于新的方向。实验表明，即使在AdamW等标准优化技术下，该方法在预测准确性和模型大小方面也显著优于非等变基线。
-
新研究为 AI 模型可解释性提供了改进方法
研究人员开发了用于解释机器学习模型内部工作原理的新方法。一种方法是在冻结的语言模型上训练轻量级适配器，以实现可靠的自解释，从而提高主题识别和隐式推理等任务的性能。另一种方法 IdEst 使用内在维度估计来评估自监督学习表示，与下游性能高度相关并支持高效的超参数调整。第三篇论文介绍了 KREPES，一个使用表示符地标和 Nyström 近似来解析 SSL 表示的框架，揭示算法偏差并实现可扩展分析。
-
VISReg 通过新的正则化技术增强自监督学习
研究人员推出了一种新颖的计算机视觉自监督学习正则化技术VISReg。该方法通过结合方差控制和基于切片 Wasserstein 的草图目标来增强训练稳定性，后者强制执行嵌入的完整分布形状。VISReg 表现出强大的性能，在低质量和分布外数据集上优于现有方法，并且与其他人相比，使用的数据量显著减少，取得了具有竞争力的结果。
-
CurvSSL框架通过流形几何增强自监督学习
研究人员推出了一种新颖的自监督学习框架CurvSSL，该框架将局部流形几何纳入其训练过程。该方法通过添加基于曲率的正则化器来增强标准的SSL技术，该正则化器可以对不同数据增强之间的局部流形弯曲进行对齐和去相关。在MNIST和CIFAR-10数据集上的实验表明，与Barlow Twins和VICReg等现有方法相比，CurvSSL在线性评估中取得了具有竞争力或更优的性能，这表明显式建模局部几何是统计SSL的一个有价值的补充。
-
Trust-SSL 增强了航空图像自监督学习对退化的鲁棒性
研究人员开发了 Trust-SSL，这是一种新颖的自监督学习策略，旨在提高航空图像分析的鲁棒性。该方法将每样本信任权重引入对齐目标，作为对比损失的加性残差。实验表明，该方法在 EuroSAT、AID 和 NWPU-RESISC45 等基准数据集上显著提高了性能，尤其是在雾霾和运动模糊等严重退化条件下。