Arthur Wuhrmann

新基准衡量大型语言模型在刑事法律任务中的过度对齐

研究人员开发了TF-RefusalBench，这是一个新的多语言基准，旨在衡量和缓解大型语言模型（LLMs）在刑事法律特定背景下的过度对齐。该基准源自公开的瑞士最高法院判决，包含法语、德语、意大利语和英语的5,200个提示，涉及易于模型护栏激活的任务，如翻译和摘要。研究发现，过度对齐受模型和语言影响，其影响不仅限于简单的拒绝，还会影响任务的忠实度。研究评估了提示和消融拒绝方向等方法，其中消融在减少拒绝方面显示出有效性，同时对性能的影响最小。