cecum

新基准揭示 LLM 裁判在监管可信度方面存在缺陷

研究人员开发了一个新基准 Principle-Bench，用于评估大型语言模型 (LLM) 在基于原则的监管中作为裁判时的可信度。该基准通过四个维度评估 LLM：准确性、释义鲁棒性、对抗鲁棒性和校准性，使用了映射到英国 FCA 原则的 168 个加密资产金融推广场景。研究结果表明，即使是大型 LLM 在面对充满关键词或扰动的数据时，在对抗性输入方面也存在困难，准确性显著下降，与其他模型的协议性差，这凸显了“合规戏剧”的风险。