一个名为CIMEMORIES DIALOGUE的新基准已被开发出来,用于评估代理对话系统中的隐私泄露问题。该基准包含4,410个对话实例,根据上下文规范评估模型处理敏感信息的程度。研究发现,能力更强的模型,特别是那些采用思维链推理的模型,倾向于泄露更多敏感信息,并且随着对话长度的增加,这种泄露会显著增加。 AI
影响 突显了AI代理能力与隐私之间的根本性权衡,表明随着技术的进步,现有系统可能会在结构上泄露敏感数据。
排序理由 介绍新基准和LLM代理评估的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →