AI auditing

新的DA-RAC方法校准LLM裁判以实现可信赖的AI审计

研究人员推出了一种新颖的DA-RAC方法，用于校准AI审计中使用的大型语言模型（LLM）裁判。该技术解决了由上下文引起的失准问题，在这种问题中，不相关的参考示例可能导致对AI生成输出的评估不准确。DA-RAC通过检索和加权基于其与判断场景距离的语义和结构相似的标记锚点来工作，为校准和分类提供信号。在LLM裁判评估基准上的实验表明，与现有方法相比，DA-RAC提高了校准精度并降低了误通过的风险。