Instruction Distillation

指令蒸馏提升MLLM视觉学习效率

研究人员开发了一种名为指令蒸馏的新方法，以提高多模态大语言模型（MLLM）视觉上下文学习（ICL）的效率。此离线过程为每个训练图像生成特定的文本指令，编码外观线索和区分特征，与仅使用图像示例相比，显著减少了推理过程中所需的上下文令牌数量。在多个基准测试和MLLM骨干模型上的实验表明，基于指令的ICL在较小的规模下可以匹配或超越基于图像的ICL性能，而结合图像和指令的混合方法可以带来互补的优势和进一步的性能提升。