一篇新的研究论文探讨了大型语言模型信息泄露的可能性,即使是在最终的 logits 层面。研究人员使用视觉-语言模型,比较了从完整的残差流到压缩瓶颈(如 top-k logits)等不同表征阶段保留的信息。研究发现,易于访问的瓶颈,例如模型的 top logit 值,可能会无意中泄露图像查询中的与任务无关的信息,有时泄露的信息量与整个残差流的直接投影相当。 AI
影响 强调了 LLM 中潜在的安全风险,表明即使是最终的输出概率也可能泄露敏感数据。
排序理由 该集群包含一篇发表在 arXiv 上的研究论文,详细介绍了关于 AI 模型信息泄露的发现。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- Influence Flower
- Masha Fedzechkina
- ScienceCast
- top-k logits
- vision-language models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →