bar council

小型AI模型尽管经过微调有所改进，但在使用法律上下文方面仍有困难

研究人员开发了一个新的基准，用于评估小型语言模型在多大程度上能有效利用其上下文中提供的法律文本，特别是在孟加拉国法律领域。研究发现，尽管微调可以提高法律问答任务的准确性，但并不一定能增强模型对所提供法律条文的依赖能力。该方法包括创建一个双语法规语料库和微调示例，然后采用约束评分和控制性移除管辖性条文等技术来区分评分者、检索者和模型的影响。结果表明，一些模型在微调后准确性显著提高，但这并未转化为对所提供法律上下文的依赖性增加。