natural-image corruption benchmark

新研究量化了分布偏移下每类覆盖的成本

研究人员分析了在训练和测试数据之间发生分布偏移时，识别系统中实现有效每类覆盖的成本。他们发现，虽然分裂保形预测（split conformal prediction）能保持边际覆盖，但每类覆盖可能严重失败。该研究提出了恢复每类有效性的方法，指出每类少量目标标签就足够了，但同时实现效率和有效性需要更多的标签，其数量与类别数量和效率损失容忍度成正比。一项使用骨架动作识别的案例研究表明，仅使用源标签进行每类校准就能恢复相当一部分覆盖差距。