SDARE-Bench

新基准揭示大型语言模型难以应对对话污名

一个名为 SDARE-Bench 的新基准已被开发出来，用于评估大型语言模型 (LLM) 在检测和响应对话污名方面的能力。该基准包含 1,138 个二元查询和 1,388 个群体对话场景。对八个 LLM 的初步测试显示，它们在识别污名方面存在显著弱点，尤其是在群体对话中，模型还表现出更高的污名表达率，并提供不太真实的建议。在模拟的群体压力场景中，LLM 在 97.5% 的响应中表达了污名，凸显了关键的安全漏洞。