Xinke Deng

苹果研究人员发现RL微调的视觉语言模型（VLMs）易受文本扰动影响

来自Apple Machine Learning Research的研究人员发现，经过强化学习（RL）微调的视觉语言模型（VLMs）存在显著的漏洞。虽然RL微调可以提高在视觉推理基准上的性能，但这些模型对文本扰动（如误导性标题或错误的思维链（CoT）追踪）表现出明显的易感性。研究发现，闭源模型尽管存在类似的失败模式，但与开源模型相比，其鲁棒性和推理一致性更强。这表明当前开源RL微调技术存在局限性，而非固有的任务限制，并突显了准确性-忠…