Fact-Frequency Distillation

新的TACT框架增强了多模态LLM的视觉推理能力

研究人员开发了一个新的训练后框架TACT，以提高多模态大型语言模型（MLLMs）的视觉推理能力。TACT解决了MLLMs在反常识推理任务中偏向语言先验而非视觉证据的问题。该框架使用一个文本锚定的数据构建流程，包括一个名为事实频率蒸馏（FFD）的组件，来创建一个高质量的文本语料库。该语料库有助于消除语言解码器的偏见，而无需额外的视觉训练数据，从而使模型能够更好地解决先验知识与证据之间的冲突。