研究人员开发了GreenLeaf Law Embed Tiny,这是一款专门为法律领域检索设计的、参数量仅为0.6亿的紧凑型嵌入模型。该模型在Massive Legal Embedding Benchmark (MLEB)上取得了75.11%的成绩,在MTEB(Law, v1)上取得了64.38%的成绩,表现出竞争力,并优于其他10亿参数以下的模型。该模型的成功归因于一个两阶段的训练过程,包括从更大模型进行知识蒸馏、使用大量的查询-段落数据进行领域特定微调,以及一个支持各种量化级别以在资源受限环境中部署的高效架构。 AI
影响 这款紧凑型模型可以实现更高效、更易于访问的AI驱动的法律研究工具,尤其是在计算资源有限的环境中。
排序理由 该集群描述了一篇详细介绍新模型发布及其在基准测试中表现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →