Quang Minh Nguyen

研究发现，大型语言模型无法可靠地自我报告对抗性预填充攻击

一项发表在arXiv上的新研究表明，大型语言模型（LLMs）在自我报告其输出是否受到对抗性预填充攻击方面并不可靠。在十种不同的开源指令微调LLMs中，没有一种能够持续识别受损的输出，模型在预填充响应中错误地声称意图的比例约为27.3%。研究表明，内省信号主要来源于安全和拒绝相关的推理，而训练模型提高内省准确性并不一定会转移到识别篡改，甚至可能增加对抗性预填充攻击的脆弱性。