研究人员发现，像JEPA这样的自监督学习方法存在缺陷，其中对比目标会错误地编码缓慢变化的噪声，而不是系统的实际动力学。这会导致表示主要由轨迹特定的噪声主导，从而影响下游性能。该研究提出了一种解决方案：在单个轨迹内采样负例，而不是跨轨迹采样，这迫使模型学习相关的动力学，并提高了表示质量，即使在存在强噪声的情况下也是如此。 AI
影响 识别出对比学习在动态系统中的一个基本限制，可能指导表示学习领域的未来研究。
排序理由 该集群包含一篇学术论文，详细介绍了机器学习特定问题的新发现和提出的解决方案。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →