Faithfulness Evaluation

新的红队测试框架揭示大型语言模型忠实度漏洞

研究人员开发了一个新颖的红队测试框架，以系统地发现大型语言模型（LLMs）中的漏洞。该框架采用多角色架构，包括目标模型、攻击者模型和评审模型，用于生成对抗性提示并严格评估响应的准确性和一致性。一项案例研究表明，在问答任务中，该方法可以将攻击成功率提高多达7.9%，揭示了大型语言模型在可靠性和忠实度方面存在的显著弱点，尤其是在对摘要任务应用结构化约束时。