Faithfulness Evaluation

新的红队测试框架揭示了大型语言模型在忠实度方面的漏洞

研究人员开发了一个新的面向大型语言模型（LLMs）的红队测试框架，旨在系统地发现漏洞。该框架采用多角色架构，包括目标模型、攻击者模型和评审员模型，用于生成和评估对抗性提示。在一项案例研究中，该方法成功识别出大型语言模型响应中存在的“不忠实”问题，在问答任务中，利用性提示将攻击成功率提高了高达 7.9%。研究还发现，结构约束和架构设计选择在决定不同语言模型的安全性与忠实度方面，可能比参数规模更具影响力。