SIT-Eval

新的SIT-Eval框架评估对话式AI在罕见情况下的安全性

研究人员开发了SIT-Eval，一个新框架，旨在通过关注特定的情境规则而非静态对话来评估对话式AI智能体。这种方法通过模拟可能导致大规模故障的罕见或低概率事件，解决了关键的安全漏洞。SIT-Eval使用一个LLM-对话者来模拟抽样情境，并使用一个LLM-裁判根据条件适用的规则来评估智能体的回复，并与人类验证的对话进行验证。对八个LLM的基准测试显示，在遵守规则方面存在显著差异，特别是在处理歧义和苏格拉底式提问方面，这些问题通常被聚合指标所掩盖。