PulseAugur
中
实时 12:07:55
English(EN) Separating Representation from Reconstruction Enables Scalable Text Encoders

CrossBERT架构分离表示与重建，实现可扩展文本编码器

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种新颖的文本编码器架构CrossBERT，旨在克服BERT类模型的局限性。与BERT将表示学习与token重建混淆不同，CrossBERT将这两个目标分开。这种架构改变允许更高的掩码比例和改进的梯度收集，从而使吞吐量提高1.5倍至2倍，样本效率提高2倍。CrossBERT在MTEB(eng, v2)和frozen GLUE等基准测试中表现出持续的扩展性和卓越的性能。 AI

影响 引入了一种更具可扩展性和效率的文本编码器架构，有望提高各种NLP任务的性能。

排序理由 介绍新模型架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

CrossBERT架构分离表示与重建，实现可扩展文本编码器

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Megi Dervishi, Mathurin Videau, Yann LeCun ·

    Separating Representation from Reconstruction Enables Scalable Text Encoders

    arXiv:2607.04011v1 Announce Type: cross Abstract: While decoders have rapidly scaled, encoders have remained largely unchanged since BERT. We revisit this disparity by frozen backbone evaluation via probing. Under this lens, the representations of BERT encoders become increasingl…

相关实体

相关话题