Verifiable-Reward Tuning

Ornith VLM通过可验证奖励调优增强驾驶问答能力

研究人员开发了一种方法来提高视觉语言模型（VLM）在问答任务中的效率，特别是在驾驶场景中。通过在Ornith检查点上使用一种称为可验证奖励调优（VRT）的技术，他们在256个token的限制内，将答案提取率从78.25%提高到90.25%，准确率从55.50%提高到63.75%。研究发现，许多不正确的答案是由于超过了token上限，而VRT在保持准确率或提高准确率的同时，显著减少了平均生成的token数量。