Pii
PulseAugur coverage of Pii — every cluster mentioning Pii across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
印度 DPDP 法案加剧了离岸工程中心的 डेटा隐私合规风险
随着《数字个人数据保护法》(DPDP Act) 的实施，在印度设有离岸工程中心的公司面临着日益严格的审查和潜在的处罚。该法案要求本地实体直接承担数据治理责任，超越了标准的公司 IT 政策。不合规可能导致巨额罚款和运营中断，影响产品开发和全球数据流。
-
LLM 防护栏：保护 AI 应用免受提示注入和数据泄露的侵害
LLM 防护栏是保护 AI 应用的关键，它们充当用户输入和语言模型之间的保护层。这些防护栏有助于防止提示注入攻击（恶意指令会覆盖系统提示）的发生，并能检测和删除 PII 或 API 密钥等敏感数据。此外，它们还能强制执行内容策略，确保 AI 的响应符合组织指南，并防止机密信息泄露。
-
LLM评估必须权衡失败的严重性，而不仅仅是通过率
最近一次LLM部署中发生了PII泄露事件，一个代理在支持回复中意外包含了客户的账户ID和部分账单地址。尽管评估仪表板显示通过率为94%，但仍发生了此事件。该问题凸显了LLM评估中单一、扁平的通过率指标的不足，因为它未能区分各种失败的严重程度。例如，PII泄露的后果远比措辞冗长或语气不正确等小问题严重得多。
-
特朗普的国家设计工作室开源Rampart AI模型
唐纳德·特朗普的国家设计工作室（National Design Studio）已开源Rampart，一个基于MiniLM的AI模型。此次发布允许全球访问源代码，使用户能够了解AI如何存储检测到的个人身份信息（PII）。该模型的会话表包含PII标签、值和令牌对，可以通过浏览器缓存访问，这是包括Hugging Face在内的许多网站使用的方法。
-
新测试平台LACUNA评估LLM遗忘的参数级精确度
研究人员推出LACUNA，一个旨在评估大型语言模型（LLM）遗忘方法精确度的新型测试平台。当前的遗忘基准仅关注输出级性能，未能验证敏感数据是否已从模型参数中真正删除。LACUNA通过将个人身份信息（PII）注入OLMo模型特定参数来解决此问题，从而可以直接评估知识擦除情况。使用LACUNA进行的实验显示，现有的最先进遗忘方法缺乏精确度，并且容易受到重新出现攻击，即使它们表现出强大的输出性能。研究表明，成功的参数定位，即使是使用更简单的…
-
ComplianceGate系统为监管行业路由LLM推理
研究人员开发了ComplianceGate，这是一种用于在监管行业中路由大型语言模型（LLM）推理的新型架构。该系统使用预推理分类器来评估查询的复杂性和数据敏感性，将查询定向到适当大小的模型和地理位置。此方法旨在通过设计实现合规性，防止数据驻留违规并提高成本效益。评估显示，与传统方法相比，延迟和成本显著降低，同时生成吞吐量增加。
-
AI 网关增强 ChatGPT 和 Claude 使用中的数据安全
组织正在实施数据丢失防护 (DLP) 策略，以防止在使用 ChatGPT 和 Claude 等第三方大型语言模型 (LLM) 时泄露敏感数据。像 Maxim AI 的 Bifrost 这样的 AI 网关可以作为中央执行点。该网关扫描提示词中的敏感信息，包括个人身份信息 (PII) 和专有数据，并在将其发送到 LLM 之前进行 redaction，从而帮助公司遵守 GDPR 和 HIPAA 等法规并避免数据泄露。
-
自动化编辑可保护敏感数据以供大型语言模型使用
为了降低使用OpenAI、Anthropic和Google等公司的大型语言模型时的安全和合规风险，在将敏感数据发送到提示之前必须对其进行编辑。这包括自动化内联提示编辑，它能实时检测并用占位符替换机密信息。此过程的技术包括使用正则表达式进行模式匹配（针对结构化数据）和命名实体识别（NER）（针对更复杂、非结构化的PII）。可逆编辑或假名化通过用一致的令牌替换敏感数据并维护一个映射以供将来可能使用，进一步增强了这一点，从而可以在不暴露关键…
-
AI安全：多层方法防止敏感数据泄露
组织必须实施多层安全策略，以防止敏感数据被发送到第三方AI工具。这包括使用命名实体识别等工具识别和分类个人身份信息（PII）、受保护健康信息（PHI）、敏感信息和知识产权等数据。然后，像开源的Bifrost这样的AI网关可以在敏感信息到达AI模型之前拦截并进行编辑或屏蔽，确保符合GDPR和HIPAA等法规。
-
本地化 AI 级联在教育对话去标识化方面实现高准确率
研究人员开发了一个新颖的 AI 级联框架，旨在去标识化敏感的教育对话，同时保留有价值的内容。该本地化系统解决了商业 LLM 需要数据共享以及传统 NER 系统过度 redaction 的局限性。所提出的方法将去标识化重新构建为隐私分类任务，使用一个以召回率为先的 union proposer 和一个上下文感知的 reviewer 来做出准确的 Redact/Keep 决策。评估表明，该本地化配置实现了 0.958 的宏 F1 分数，优…
-
企业AI助手通过新的MCP网关得到保护，以防止数据泄露
企业正努力应对AI助手相关的安全和合规风险，特别是敏感代码和个人身份信息（PII）泄露的问题。为解决此问题，已开发出一种名为Enterprise Secure MCP Bridge的新解决方案，它充当一个安全网关。该网关利用Anthropic的Model Context Protocol (MCP)，并采用混合架构，包含集中式身份验证、PII脱敏中间件和仅追加审计日志记录，以确保数据保护并符合GDPR和SOC 2等法规。该系统旨在通过…
-
Text-to-SQL LLM 风险：数据泄露和成本超支
Text-to-SQL 是一个已解决的问题的观念是一个危险的迷思，因为 LLM 会生成非确定性的 SQL 查询，对敏感数据构成风险。将整个模式馈送给 LLM 或使用语义代理层等方法可能导致数据损坏或上下文窗口限制等问题。一个更健壮的解决方案涉及一个“硬门控 SQL 沙盒”，它使用抽象语法树 (AST) 验证器在执行前检查生成的 SQL 是否存在未经授权的访问或连接，同时在数据库层面进行资源治理以防止过度的计算成本。
-
使用集中的 Span Processor 对 LLM 痕迹中的 PII 进行脱敏
一种对 LLM 应用痕迹中的个人身份信息 (PII) 进行脱敏的新方法，侧重于使用集中的 Span Processor，而不是修改单个调用点。此方法可确保在数据离开应用程序之前进行一致的 PII 清洗，从而解决详细的 LLM 仪器化固有的安全风险。所提出的解决方案涉及 OpenTelemetry 中的自定义 SpanProcessor，该处理器可识别并替换特定 span 属性和事件中的电子邮件、信用卡号和电话号码等敏感数据。
-
AI PII 安全仅靠提示词指令不足
最近的一项分析认为，仅依靠提示词指令不足以确保 AI 系统中的个人身份信息 (PII) 安全。作者提出了一种更稳健的方法，强调需要实际的、与工作流程集成的解决方案来保护敏感数据。这表明当前的方法可能无法充分解决 AI 应用中数据隐私的复杂性。
-
RAG安全：检索阶段的访问控制是关键，而非输出屏蔽
一篇技术文章认为，在检索增强生成（RAG）系统的输出阶段屏蔽个人身份信息（PII）是一种不足够的安全措施。作者解释说，当输出过滤器运行时，大型语言模型（LLM）已经处理了敏感数据，使其容易通过释义或推理泄露。提出的解决方案是在检索阶段实施访问控制，确保敏感文件根本不会发送给LLM。
-
新的本地 LLM 在 9 毫秒 CPU 推理下接近 PII 移除的领先水平
一款新的本地语言模型已被开发出来，在从计算机使用数据中移除个人身份信息 (PII) 方面，其性能接近领先水平。该模型在 CPU 上运行时，推理时间仅为 9 毫秒。开发者正在寻求对其能力的反馈。
-
DeBERTa模型通过简单的微调实现了广泛的PII检测
研究人员开发了一种使用DeBERTa模型进行个人身份信息（PII）检测的新方法，在跨不同文本来源的广泛覆盖检测方面取得了显著改进。他们对包含82种实体类型的PIIBench数据集的研究发现，DeBERTa的直接令牌分类微调优于更复杂的架构和基于课程的方法。这种更简单的方法在大数据集上产生了0.6455的F1分数，证明了多样化训练数据和标准目标函数在稳健PII检测方面优于复杂的模型设计。
-
设备端PII替换管道使用区域设置提示来修复复述问题
研究人员开发了一种设备端管道，用于将个人身份信息（PII）替换为一致的、保留类型的虚假值，旨在保持下游文本的效用。该系统使用小型语言模型（SLM）生成替代值，但最初遇到了演示复述问题。引入了一种新颖的区域设置条件轮换少样本提示技术来解决此问题，从而成功实现了跨多个区域设置的PII替换。然而，研究发现，虽然SLM替代值产生的文本更自然，但会导致训练数据多样性降低，与更简单的方法相比，对下游命名实体识别（NER）性能产生负面影响。
-
新工具检查LLM提示数据泄露；游戏工作室招聘AI创作者
一款新的免费工具已被开发出来，帮助用户识别和防止个人身份信息（PII）在LLM提示中泄露。与此同时，《P的谎言》游戏工作室正在寻找一位“AI创作者”，在未来的项目中利用AI工具进行资产创建和模型训练，尽管该职位不会直接参与续集的开发。
-
新算法可从微调语言模型中重建个人身份信息
研究人员开发了一种名为 COVA 的新解码算法，可以从监督微调的语言模型中重建个人身份信息 (PII)。该研究关注医疗和法律等敏感领域，证明即使对手部分了解微调数据集，也能推断出敏感的用户数据。PII 重建的有效性因 PII 类型而异，凸显了当前微调实践带来的重大隐私风险。