研究人员开发了 HTML-LM,一个拥有 1.54 亿参数的紧凑型基础模型,旨在高效处理捷克 HTML 文档。该模型基于 ModernBERT 架构构建,利用了 HTML 感知训练和多种目标,包括掩码语言建模以及从更大模型进行对比蒸馏。HTML-LM 已投入生产,每秒可处理数千份网页文档,并在捷克互联网领域的分类和回归任务上取得了最先进的性能,优于更大的编码器和更小的 LLM。 AI
影响 该模型在处理结构化网络数据方面的效率和性能,可能会为未来的网络爬取、信息提取和特定领域语言模型的发展提供启示。
排序理由 该集群描述了一篇新学术论文的发布,该论文详细介绍了一种新颖的模型架构及其在特定领域的性能。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →