研究人员开发了一个新框架,用于审计表现出“罗生门效应”的决策系统。这种现象是指多个准确的模型产生不同的预测。该框架结合了集成边际和局部预测变异性,以识别不正确的集成预测。使用Transformer模型进行自然语言理解和针对表格数据进行微调的大型语言模型的实验表明,这种集成方法在仅适度增加需要人工审查的实例数量的同时,显著降低了未经检查的不正确预测的风险。 AI
影响 引入了一种更可靠的方法来捕获AI系统中的预测多重性,从而可能提高已部署模型的安全性和可信度。
排序理由 学术论文,详细介绍了一种用于机器学习模型的新审计框架。[lever_c_demoted from research: ic=1 ai=1.0]
- ensemble margin
- large language models
- local prediction variability
- natural language understanding
- Rashomon effect
- tabular data classification
- transformer models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →