实体
adversarial validation
adversarial validation
PulseAugur coverage of adversarial validation — every cluster mentioning adversarial validation across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
研究发现，机器学习监控中的漂移检测器容易出现误报
一篇新的研究论文分析了机器学习监控中常用漂移检测方法的误报率。研究发现，虽然PSI对批次大小敏感，并且在小样本量下会产生频繁的误报，但其性能在批次超过200个样本时有所改善。KS、MMD和LSDD在不同批次大小下表现出更稳定但仍有波动的可靠性。应用Bonferroni校正可减少假阳性，但也会降低真阳性敏感度，凸显了漂移检测中稳定性和敏感性之间固有的权衡。
-
Hamel Husain 提出使用对抗性验证进行 AI 漂移检测
Hamel Husain 提出了一种称为对抗性验证的技术，用于检测 AI 模型输入和训练数据中的漂移。该方法涉及训练一个二元分类器来区分两个数据集，例如训练数据与生产数据，或不同时间段的数据。如果分类器能够准确地区分这些数据集，则表明存在漂移，这可能导致评估失真或模型行为意外。Husain 还引入了一个名为 `ft_drift` 的命令行工具，以帮助使用 OpenAI API 检测微调模型中的提示模板和模式漂移。