Sourabh Sharma

新框架通过自训练增强视觉语言模型推理能力

研究人员开发了一个名为 See-Think-Learn (STL) 的新自训练框架，以提高视觉语言模型 (VLM) 的多模态推理能力。STL 通过引入结构化推理模板来解决当前方法的局限性，该模板指导模型在进行思考过程之前首先感知视觉属性。该框架通过在自训练循环中使模型能够生成自己的结构化推理并从中学习，从而增强了感知和推理能力。此外，STL 还包含负面推理，以帮助模型区分正确答案和误导性答案，从而实现更鲁棒和更具辨别力的学习。