一款名为 ThirdLine 的 AI 审计员被开发用于识别 AI 代理中的缺陷,在检测植入的缺陷时实现了 100% 的召回率。然而,当使用 GPT-4o mini 进行测试时,该审计员的精确率显著下降至 38.5%,表明使用 AI 进行自我审计存在局限性。该系统设计了一个人工干预的门控环节以进行最终批准,确保 AI 生成的发现不会赋予自身权威。这种方法解决了管理新型生成式和代理式 AI 系统不断变化的挑战,尤其是在金融领域,当前模型风险指南存在不足。 AI
影响 强调了使用 AI 审计其他 AI 系统所面临的挑战和当前局限性,尤其是在精确率和需要人工监督方面。
排序理由 该条目描述了一个特定的 AI 工具(审计员)及其性能,而不是新的模型发布或重大的行业事件。
- Federal Deposit Insurance Corporation
- Federal Reserve System
- GitHub
- GPT-4o mini
- Office of the Comptroller of the Currency
- ThirdLine
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →