PulseAugur
实时 22:04:47
English(EN) Ranked by Position: Order Sensitivity as an Exploitable Attack Surface in LLM Listwise Recommenders

LLM推荐系统易受基于顺序的攻击

研究人员发现,当大型语言模型(LLM)用于推荐系统时,存在重大的安全漏洞。研究表明,即使不改变候选项目的实际内容或标签,LLM接收候选项目呈现的顺序也可以被操纵,从而不公平地推广某些项目。这种“位置偏差”可能被利用来提升不受欢迎的项目进入排名靠前的位置,实验显示推广标签为0的目标成功率高达57%。虽然双向T5编码器和排列一致性正则化可以缓解此风险,但点式评分虽然安全,却会降低整体排名质量。 AI

影响 突出了LLM在推荐应用中的一种新安全漏洞,可能影响用户信任和系统完整性。

排序理由 该集群包含一篇详细介绍LLM新漏洞的学术论文。

在 arXiv cs.IR (Information Retrieval) 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

LLM推荐系统易受基于顺序的攻击

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Ge Zhang, Jingru Cheng, Huiyuan Chen ·

    按位置排序:顺序敏感性作为大型语言模型列表式推荐器中可利用的攻击面

    arXiv:2607.24869v1 Announce Type: cross Abstract: Large language models (LLMs) used as listwise rerankers in recommendation systems suffer from position bias when serializing candidate sets into prompts. We show this order sensitivity creates an exploitable attack surface: an att…

  2. arXiv cs.IR (Information Retrieval) TIER_1 English(EN) · Huiyuan Chen ·

    按位置排序:顺序敏感性作为大型语言模型列表式推荐器中可利用的攻击面

    Large language models (LLMs) used as listwise rerankers in recommendation systems suffer from position bias when serializing candidate sets into prompts. We show this order sensitivity creates an exploitable attack surface: an attacker can promote a label-0 target into the top-$k…