UltraBERT-150M

UltraBERT突破编码器性能极限，在分类和检索方面表现出色

研究人员开发了UltraBERT，这是一种新的编码器模型，在分类和检索任务上均超越了先前的基准。通过对BERT的预训练方法进行研究，该团队发现编码器在数万亿个token之后会饱和，并且掩码比例对分类和检索的性能影响截然不同。UltraBERT通过在批次中使用独立的语言模型头来处理低掩码比例和高掩码比例，并将蒸馏限制在低掩码比例，从而在GLUE和BEIR基准上取得了最先进的结果。