研究人员开发了UltraBERT，这是一种新的编码器模型，在分类和检索任务上均超越了先前的基准。通过对BERT的预训练方法进行研究，该团队发现编码器在数万亿个token之后会饱和，并且掩码比例对分类和检索的性能影响截然不同。UltraBERT通过在批次中使用独立的语言模型头来处理低掩码比例和高掩码比例，并将蒸馏限制在低掩码比例，从而在GLUE和BEIR基准上取得了最先进的结果。 AI
影响 在分类和检索基准上设定了新的SOTA（state-of-the-art），为双向编码器的最佳预训练策略提供了见解。
排序理由 该条目描述了一篇新的研究论文，详细介绍了一种新颖的模型架构及其在既定基准上的性能。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
