DrivingVQA

新的RSKD框架提高了驾驶VLM的语义一致性

研究人员开发了RSKD，一个新颖的蒸馏框架，旨在提高自动驾驶应用中视觉语言模型（VLM）的语义一致性。与应用统一的token级匹配的传统方法不同，RSKD根据答案短语的重要性和语义一致性选择性地路由监督。这种方法仅在教师信息语义对齐的地方强调教师信息，同时优先考虑对语义不一致短语的地面真实监督。在DrivingVQA和LingoQA等基准上的评估证明了RSKD在增强VLM在驾驶相关任务中的性能方面的有效性。