Thai bar examination

LLM在泰国律师考试研究中压倒性地复制了多数人类评分

一项关于泰国律师考试的新研究表明，虽然人类考官有时会因模糊的评分标准解释而在自由格式论文评分上产生分歧，但大型语言模型（LLM）在绝大多数情况下会与多数人类的解读保持一致。在测试的26个LLM中，没有一个在面对正确答案但缺少法定引文时会复制少数人类的评分观点。一个由三个LLM组成的锚定小组取得了高一致性得分（alpha=0.77），而人类小组的得分为（alpha=0.36），这凸显了LLM倾向于与主流人类解读保持一致，而不是探索其他有效的解读。