Zicheng Zhang

新框架训练大型多模态模型进行图像质量评分和解读

研究人员推出 Q-SiT，一个旨在使大型多模态模型（LMM）能够同时执行图像质量评分和解读任务的新颖框架。该方法将图像质量评估（IQA）中两个传统上独立的部分统一起来，将它们视为相互关联的。该方法包括将现有的 IQA 数据集转换为问答格式，并结合人类标注的质量解读数据进行训练。Q-SiT 还采用了一种高效的平衡策略来优化数据混合比例，从而降低计算成本并增强跨任务知识转移。