研究人员开发了一种名为数据集级正则化的新自监督学习方法。该技术旨在通过正则化表示的分布来改善其对齐,防止塌陷。与先前在小批量内计算正则化的方法不同,该方法在 CPU 内存中维护数据集级状态,以便在训练期间使用全局构建的每实例目标。当应用于 SimCLR 和 SIGReg 等对比和非对比方法时,它在各种任务中显示出持续的改进,尤其是在较小的批量大小下。 AI
影响 该方法可以提高自监督学习的效率和有效性,尤其是在数据或计算资源有限的情况下。
排序理由 该条目描述了一篇关于自监督学习新方法的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →