新基准揭示 LLM 裁判在监管可信度方面存在缺陷

研究人员开发了一个新基准 Principle-Bench，用于评估大型语言模型 (LLM) 在基于原则的监管中作为裁判时的可信度。该基准通过四个维度评估 LLM：准确性、释义鲁棒性、对抗鲁棒性和校准性，使用了映射到英国 FCA 原则的 168 个加密资产金融推广场景。研究结果表明，即使是大型 LLM 在面对充满关键词或扰动的数据时，在对抗性输入方面也存在困难，准确性显著下降，与其他模型的协议性差，这凸显了“合规戏剧”的风险。 AI

影响 强调了在监管环境中对 LLM 进行稳健评估的必要性，特别是针对对抗性攻击，以防止“合规戏剧”。

排序理由 该集群包含一篇学术论文，介绍了一个用于评估 LLM 的新基准和方法。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• cecum
• Consumer Duty
• Hugging Face
• LLM-as-a-Judge
• Principle-Bench
• UK FCA

• 论文
• 安全
• 政策

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →