LLM compliance systems

研究发现：LLM合规系统对监管规则敏感度低

一篇题为“无规则的判决：诊断和审计LLM合规系统中监管规则的敏感性”的新研究论文，调查了大型语言模型（LLMs）在遵守监管规则方面的可靠性。研究发现，即使在相关规则被更改或否定时，LLMs也常常维持其原判，这表明它们对所提供的法规缺乏敏感性。虽然模型在规则变化会影响预测的简单案例中表现良好，但在更复杂场景下的准确性值得怀疑，其中一个测试的防护模型表现仅略优于随机猜测。