Contextual integrity
PulseAugur coverage of Contextual integrity — every cluster mentioning Contextual integrity across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的生成模型研究LLM信息共享中的上下文完整性
研究人员开发了一个生成模型,用于研究信息共享中的上下文完整性,特别是在大型语言模型(LLM)方面。该模型模拟了两个参与者之间的对话,一个拥有私人信息,另一个寻求这些信息,以观察共享和拒绝行为如何受到上下文、决策逻辑和底层语言模型的影响。研究发现,虽然在需要时信息被恰当地共享,但它也被披露给了未经授权的接收者,这凸显了在模拟对话环境中信息流动的复杂性。
-
新框架TG-CI增强了多智能体LLM系统的隐私性
研究人员推出了一种名为任务图上下文完整性(TG-CI)的新型框架,旨在增强多智能体大型语言模型(LLM)系统的隐私性。与孤立评估披露的现有方法不同,TG-CI通过将整个工作流程形式化为多智能体任务图(MATG)来规范隐私。这种方法评估信息在计划的操作序列中的流动,确保披露不仅在传输点是恰当的,而且还考虑了信息如何传播给下游智能体。使用新的MAPLE-Bench基准进行的实验表明,TG-CI在保持高任务准确性的同时显著减少了未经授权的披…
-
新基准显示,具有更强能力的代理AI模型会泄露更多敏感数据
一个名为CIMEMORIES DIALOGUE的新基准已被开发出来,用于评估代理对话系统中的隐私泄露问题。该基准包含4,410个对话实例,根据上下文规范评估模型处理敏感信息的程度。研究发现,能力更强的模型,特别是那些采用思维链推理的模型,倾向于泄露更多敏感信息,并且随着对话长度的增加,这种泄露会显著增加。
-
Mastodon 启动上下文感知人工智能研究计划
Mastodon 正在启动一个专注于开发上下文感知人工智能系统的研究项目,旨在更好地理解人机通信的细微差别。该计划旨在促进能够解释细微互动的 AI 的理解和应用。
-
新研究和研讨会详细介绍了AI代理的安全和隐私风险
多篇研究论文和一份Google研讨会报告强调了增强自主AI代理的安全和隐私措施的迫切需求。这些工作解决了诸如非结构化输入歧义、概率性控制流以及代理可能越界或未能执行基本安全任务等挑战。提出的解决方案包括诸如用于证据溯源的Proof-of-Use (PoU)框架、主动保证周期以及分层权限模型,以确保代理在定义的道德和安全参数内运行。
-
LLM 在上下文完整性方面存在困难,高达 69% 的情况下会泄露敏感数据
新的研究强调了在大型语言模型 (LLM) 中保持上下文完整性方面存在的重大挑战。一个名为 CIMemories 的基准测试显示,即使是 GPT-5 等先进模型,也可能出现高达 69% 的属性级别违规,在不同任务和重复运行中不当地泄露敏感用户信息。另一项研究探讨了使用推理和强化学习来灌输上下文完整性,结果显示在保持任务性能的同时,不当披露得到了显著减少。这些发现表明,当前的 LLM 缺乏稳健信息控制所需的细致、依赖上下文的推理能力,这表…
-
Bruce Schneier 探讨大型语言模型中的语境完整性
Bruce Schneier 的博客讨论了与大型语言模型 (LLM) 相关的语境完整性概念。他重点介绍了探讨该主题的两篇学术论文,强调了它对人工智能和完整性的重要性。讨论涉及人工智能、隐私和安全方面的影响。
-
新AI研究聚焦代理协作中的隐私问题
两篇新研究论文提出了增强AI代理协作中隐私的方法。第一篇DiSan使用双流编码器将文本中的任务语义与识别来源的风格分离开来,无需集中原始数据即可进行联合训练,并显著减少了风格计量归因。第二篇MINIM充当了LLM驱动代理的本地代理,学习UI元素的敏感度和必要性分数,在传输到远程服务器之前最小化敏感数据泄露,同时保留任务关键信息。
-
新的大型语言模型基准测试隐私;Ollama 支持本地人工智能
研究人员开发了 IDP-Bench,这是一个旨在评估大型语言模型(LLM)在相互依赖的隐私场景中保护个人信息能力的基准。该基准使用情境完整性框架,发现尽管许多开源大型语言模型能够识别数据的共同所有权,但在识别关键隐私参数和判断数据共享的适当性方面却存在困难。另外,Ollama 作为一个开源工具越来越受欢迎,它允许用户在自己的机器上本地运行大型语言模型,与基于云的 API 相比,提供了增强的隐私和成本节约。