研究人员开发了TF-RefusalBench，这是一个新的多语言基准，旨在衡量和缓解大型语言模型（LLMs）在刑事法律特定背景下的过度对齐。该基准源自公开的瑞士最高法院判决，包含法语、德语、意大利语和英语的5,200个提示，涉及易于模型护栏激活的任务，如翻译和摘要。研究发现，过度对齐受模型和语言影响，其影响不仅限于简单的拒绝，还会影响任务的忠实度。研究评估了提示和消融拒绝方向等方法，其中消融在减少拒绝方面显示出有效性，同时对性能的影响最小。 AI
影响 这项研究通过解决过度对齐问题，可能有助于在敏感的法律领域更可靠地部署大型语言模型。
排序理由 该集群包含一篇详细介绍新基准和研究结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
