3R-Bench

新的3R-Bench基准评估LLM在对话中的网络安全辅助能力

研究人员开发了一个名为3R-Bench的新基准，用于评估大型语言模型（LLM）在对话情境下区分合法网络安全辅助请求和潜在有害请求的能力。该基准包含150个真实世界的网络安全请求和两个对抗性对话场景。对八个LLM的初步评估显示，模型对网络安全请求的遵从度显著受到先前对话历史的影响，在拒绝历史后的遵从度为62.0%，而在接受历史后则上升到85.1%。