English(EN) Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations

新的 JEPA 模型通过修正分布匹配学习稀疏表示

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-29 04:00

研究人员开发了 Rectified LpJEPA，这是一种联合嵌入预测架构 (JEPA) 的新方法，旨在创建更有效和稀疏的表示。与之前通过正则化趋向高斯分布而偏爱密集表示的方法不同，Rectified LpJEPA 使用了修正分布匹配正则化 (RDMReg) 技术。该方法允许显式控制表示的稀疏性，同时保持下游任务的性能，在图像分类中展示了稀疏性和准确性之间的有利权衡。 AI

影响引入了一种学习稀疏高效表示的新方法，有可能提高下游 AI 任务的性能并降低计算成本。

排序理由这是一篇研究论文，详细介绍了一种新的表示学习方法和模型架构。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Yilun Kuang, Yash Dagade, Tim G. J. Rudner, Randall Balestriero, Yann LeCun · 2026-05-29 04:00

Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations

arXiv:2602.01456v2 Announce Type: replace Abstract: Joint-Embedding Predictive Architectures (JEPA) learn view-invariant representations and admit projection-based distribution matching for collapse prevention. Existing approaches regularize representations towards isotropic Gaus…

报道来源 [1]

Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations

相关实体

相关话题