研究人员开发了一个新的基准,用于评估小型语言模型在多大程度上能有效利用其上下文中提供的法律文本,特别是在孟加拉国法律领域。研究发现,尽管微调可以提高法律问答任务的准确性,但并不一定能增强模型对所提供法律条文的依赖能力。该方法包括创建一个双语法规语料库和微调示例,然后采用约束评分和控制性移除管辖性条文等技术来区分评分者、检索者和模型的影响。结果表明,一些模型在微调后准确性显著提高,但这并未转化为对所提供法律上下文的依赖性增加。 AI
影响 强调了当前小型LLM利用所提供上下文能力的局限性,表明在专业领域需要更稳健的评估方法。
排序理由 学术论文,详细介绍了一个新的基准和对小型语言模型的评估。[lever_c_demoted from research: ic=1 ai=1.0]
- Bangladesh
- bar council
- Gemma 4-E2B
- Hugging Face
- Llama 3.2:1b
- Llama 3.2:3b
- LoRA+
- Qwen3.5-0.8B
- Qwen3.5 2B
- Qwen3.5 4B
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →