Cort

研究人员开发AI红队测试框架以检测大语言模型中的金融风险

研究人员开发了一个名为CoRT的新框架，用于在金融领域对大语言模型（LLMs）进行红队测试。该框架旨在通过在多轮对话中逐步隐藏风险提示来识别监管风险，而不是专注于明显有害的内容。CoRT包含生成这些多轮提示和评估其风险隐藏能力的组件，在九个测试过的大语言模型上实现了高攻击成功率。此外，还创建了一个新的基准测试集FinRisk-Bench来支持这项研究。