Md Mokarram Chowdhury

新研究解释了角色扮演越狱如何绕过大型语言模型的安全功能

研究人员分析了角色扮演越狱如何欺骗大型语言模型生成有害内容。该研究利用机制可解释性发现，虽然模型仍然能识别有害请求，但随着答案的开始，危害的证据会减弱，这种现象被称为安全中继衰减。研究表明，角色扮演中的场景和任务框架对这种顺从起着因果作用，而针对这些组件的干预措施可以恢复拒绝能力。这项工作为未来大型语言模型的安全改进确定了一个具体机制。