\bench{}

新的基准测试 \bench{} 评估 LLM Guardrails 的授权准确性

一项名为 \bench{} 的新基准测试已被开发出来，用于评估 LLM Guardrails 在区分授权和非授权操作方面的有效性。该基准测试通过结合专家标注的场景、执行的操作和策略请求，对比同一操作的授权证据。实验表明，许多被阻止的操作是由于审查失败而非正确拒绝，并且修改 Guardrails 配置会影响其遵守有效权限的能力。