Zexin Lin

新的基准和框架评估 VLM 鲁棒性和伦理一致性

研究人员开发了一个新的基准 DIQ-H，用于评估视觉语言模型 (VLM) 在对抗性视觉条件和时间不一致性下的鲁棒性。该基准模拟了运动模糊和传感器噪声等现实世界的压力源，以评估这些损坏如何随着时间的推移导致持续的错误和不一致的输出。为了提高安全评估的效率，他们还引入了价值引导迭代精炼 (VIR) 框架，该框架可自动生成符合伦理的真实标注，准确率提高了 15.3%。