R score

新的RedactionBench基准揭示LLM在上下文PII redaction方面存在困难

研究人员推出了RedactionBench，这是一个新的基准测试，旨在评估大型语言模型在考虑上下文隐私的同时，能够多好地redact个人身份信息（PII）。该基准包含200份多样化的文档和一个新颖的R-Score指标，该指标考虑了redaction中的语义相似性。评估显示，包括具有agentic工具的前沿模型在内的当前模型在上下文redaction方面存在困难，人类标注者在何构成上下文redaction方面也存在显著分歧。