研究人员为语言模型引入了一种新颖的自监督学习目标，该目标结合了掩码语言建模（MLM）和联合嵌入预测架构（JEPA）方法。这种混合方法旨在鼓励表示捕捉更深层次的语义结构，而不仅仅是表面标记的身份。在Wikipedia和GLUE基准上的实验表明，即使下游准确性指标相似，混合模型也能产生更均匀的嵌入和更好的语义-词汇平衡。 AI
影响 这种混合目标可能带来更具语义鲁棒性的语言模型，提高需要更深层次理解的任务的性能。
排序理由 该集群包含一篇学术论文，详细介绍了语言模型的新自监督学习目标。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →