Abdullah Al Zubaer

大型语言模型在德国法律考试评分方面展现出潜力

研究人员开发了一个名为GradeLegal的系统，利用大型语言模型自动评分德国法律考试答案。该研究评估了27种不同的LLM和各种提示策略，发现在公法领域，面向推理的模型可以与专家评分者达到高度一致，二次加权Kappa系数达到0.91。然而，在刑法领域的表现较低，表明这是一项更具挑战性的任务。集成多个模型进一步提高了评分准确性，为顶级专有模型提供了一种潜在的替代方案。