Qwen2-VL-2B
PulseAugur coverage of Qwen2-VL-2B — every cluster mentioning Qwen2-VL-2B across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究探索先进的多模态对比学习策略
研究人员正在探索多模态对比学习的新方法，超越传统的相似性函数。一种方法是使用预训练的Transformer模型作为“评分器”，发现即使是冻结的、随机初始化的模型也能优于手工设计的基线。另一项研究调查了视觉内容在原生多模态预训练中的作用，表明它充当了一个可扩展的锚点，增强了超越视觉理解的能力。第三篇论文批判性地审查了各种对比训练策略，揭示了许多策略带来的收益甚微，有些甚至会降低性能，而硬负例挖掘、假负例缓解和硬批次构建的组合则显示出希望。
-
新研究探讨小型GUI基础模型最优动作类型输入方法
研究人员探索了小型GUI基础模型有效接收动作类型的方法，并比较了五种不同方法。在Android in the Wild数据集上使用LoRA对Qwen2-VL-2B模型进行微调，他们发现辅助损失、加性学习嵌入和基于提示的动作词显著提高了性能，优于基线。然而，硬路由和前缀标记没有显示出明显的好处，而将屏幕外触摸点夹紧的预处理选择对基础准确性产生了负面影响。
-
新的强化学习方法通过先验注入改进视觉-语言数学推理
研究人员开发了一种名为“稀疏奖励强化学习（RL）先验注入”的新方法，以改进视觉-语言数学推理。该技术通过注入各种形式的先验知识来解决RL中的稀疏奖励挑战，例如参考解决方案、教师模型或基于价值的评论员。研究发现，这些先验的有效性取决于其及时传递给策略。此外，研究强调了评估RL模型的关键问题，并指出一种常见的领域内评估指标可能具有误导性，并且与真实的跨领域迁移呈负相关。
-
使用QLoRA微调的Qwen2-VL可将文档图像转换为Markdown
两篇文章详细介绍了使用QLoRA微调Qwen2-VL-2B模型的过程。目标是将文档图像转换为结构化的Markdown格式，增强多模态文档理解能力。该技术侧重于参数高效微调，以实现所需的转换能力。