privaite-bench

新基准测试揭示 PII 审核工具会在 LLM 代理中泄露敏感数据

一个名为 privaite-bench 的新基准测试已被开发出来，用于测试 PII（个人身份信息）审核工具在处理 LLM 代理请求时的有效性。该基准测试显示，许多仅扫描消息文本的常用工具，未能审核嵌入在工具调用参数或多模态内容中的 PII。一种结合了 Presidio 和 OpenAI 的 privacy-filter 模型的结构感知方法，展示了改进的 PII 检测和可逆假名化，确保敏感数据不会泄露给 LLM 提供商。