zero-shot VLMs

研究发现，分裂保角预测在分布偏移下对视觉语言模型未能实现类别条件安全

一篇新论文研究了分裂保角预测作为零样本视觉语言模型（VLMs）在数据分布偏移条件下的安全层有效性。研究发现，尽管边际覆盖率可以保持较高水平，但类别条件覆盖率会显著下降，某些类别的覆盖率甚至在整体覆盖率约为86%时接近于零。测试了各种校准技术，其中目标侧类别校准显示出最大潜力，但需要大量的标记数据。研究得出结论，边际保角覆盖率应被视为平均可靠性指标，而不是特定类别的确定性安全保证。