PulseAugur
中
实时 08:39:32
English(EN) Can LLMs Reliably Self-Report Adversarial Prefills, and How?

研究发现，大型语言模型无法可靠地自我报告对抗性预填充攻击

作者 PulseAugur 编辑部 · [1 个来源] ·

一项发表在arXiv上的新研究表明，大型语言模型（LLMs）在自我报告其输出是否受到对抗性预填充攻击方面并不可靠。在十种不同的开源指令微调LLMs中，没有一种能够持续识别受损的输出，模型在预填充响应中错误地声称意图的比例约为27.3%。研究表明，内省信号主要来源于安全和拒绝相关的推理，而训练模型提高内省准确性并不一定会转移到识别篡改，甚至可能增加对抗性预填充攻击的脆弱性。 AI

影响 凸显了LLM自我报告可靠性方面的风险，表明当前的内省机制不足以实现强大的安全性。

排序理由 关于LLM安全性和内省能力的学术论文。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究发现，大型语言模型无法可靠地自我报告对抗性预填充攻击

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Quang Minh Nguyen, Uzair Ahmed, Taegyoon Kim ·

    大型语言模型能否可靠地自我报告对抗性预填充，以及如何做到？

    arXiv:2606.23671v2 Announce Type: replace Abstract: Prior work shows that large language models (LLMs) exhibit introspective capability on benign tasks. We extend the question to safety contexts and examine how reliably a model can recognize that its own prior response was elicit…

相关实体

相关话题