Selective Sensitivity Loss

新的GeoReward框架解决了视觉语言模型的高估问题

研究人员推出了一种名为GeoReward的新框架，旨在解决视觉语言模型（VLM）中一种特定的失效模式，即上下文变量高估（CVE）。该问题导致VLM优先考虑主导的视觉和文本线索，而忽略稀疏但关键的上下文信息，从而导致预测不准确，尤其是在广告偏好等跨市场应用中。GeoReward结合了市场感知检索增强、上下文引导的视觉调制和选择性敏感度损失来减轻CVE。该框架已被证明可以改进VLM针对生成市场特定广告创意进行的微调，并在实验中优于现有方法。