适配法律领域的现代BERT模型表现出显著的性能提升

研究人员调查了现代BERT模型在法律领域的领域适应性。通过在美国法院判决书的大型语料库上使用掩码语言模型进行进一步预训练，与原始模型相比，他们在法律数据集上取得了显著的性能提升。这种方法，即在现有检查点上进行进一步预训练而不是从头开始训练，使得模型能够处理多达8,192个标记，并为法律文本生成有意义的嵌入。开发的模型现已公开提供。 AI

影响 增强了法律专业人士的专业AI能力，可能改进法律研究和文件分析。

排序理由 该集群包含一篇学术论文，详细介绍了将现有语言模型适配到特定领域的研究。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• BERT
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• ModernBERT
• ScienceCast
• US

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →