实体 U-MPT

U-MPT

PulseAugur coverage of U-MPT — every cluster mentioning U-MPT across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_245339 · Sep 10 · 04:00

新理论将掩码预训练与对比学习联系起来

研究人员开发了一个新的理论框架来分析掩码预训练（MPT），并理解掩码如何提取有意义的表示。该框架建立了MPT与对比学习之间的联系，证明掩码会隐式地创建语义上相似的正样本对。该研究还识别出MPT中的维度坍塌问题，并提出了一种增强一致性的MPT（U-MPT）损失来解决它，从而在下游任务中取得了显著的改进。