Pyrros Nikias Koussios

新的SAFT方法改进了用于强化学习的视觉语言模型奖励模型

研究人员开发了结构感知微调（SAFT），一种新颖的自监督方法，用于改进用于强化学习的视觉语言模型（VLM）中不完美的奖励信号。该技术采用LoRA适配器来规范化VLM的潜在空间，从而在不需要地面真实监督的情况下提高策略收敛性和对齐性。SAFT的方法侧重于解决VLM中的结构脆弱性，为稳定文本条件强化学习提供了比广泛的人类偏好标注更具可扩展性的替代方案。