Qwen2.5-VL-7B-Instruct
PulseAugur coverage of Qwen2.5-VL-7B-Instruct — every cluster mentioning Qwen2.5-VL-7B-Instruct across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新方法旨在改进多奖励强化学习中的代币级信用分配
两篇新研究论文提出了一种在涉及多个奖励时，更有效地将信用分配给语言模型输出中特定代币的方法。第一篇论文MRTPO利用验证器信息，在不使用辅助模型的情况下，将奖励优势直接分配给相关代币。第二篇论文P2T采用一种无训练的、基于梯度的方法，通过估计其影响来将整体奖励归因于单个代币，仅需一次前向和后向传播。
-
FearCaut-Qwen 通过情感回路操控调整 VLM 危险评估
研究人员开发了一种名为 FearCaut-Qwen 的方法，用于调整视觉语言模型（VLM）在危险评估中的决策标准。通过识别和操纵模型中与恐惧相关的“情感回路”，他们能够显著提高对不安全建筑检测的召回率。该技术允许在推理时进行调整，无需重新训练，展示了机械可解释性如何用于控制 VLM 在关键应用中的行为。
-
新方法通过分析反事实视图来提升视频LLM推理能力
研究人员推出了一种新颖的视频多模态大语言模型（MLLM）训练后方法——行为包优化（BPO）。BPO通过计算反事实视图输出包的奖励，解决了MLLM依赖外观和语言先验而非时间证据的问题。该方法鼓励模型在发生无关干预时保持稳定，在关键证据被移除时保持敏感，并在没有证据时弃权。将其应用于Qwen2.5-7B-Instruct后，BPO显著提高了在TempCompass、MVBench和NExT-QA等基准测试上的准确性，并在Video-MME…
-
新系统通过视觉检索和证据链构建增强文档问答能力
研究人员开发了一种新颖的长上下文文档问答系统，特别适用于包含图表和信息图等视觉元素的文档。该系统名为VisRAG-Ret，利用冻结的Qwen2.5-VL-7B-Instruct模型，并包含三个新模块：一个能力感知视觉路由器（CAVR）用于分类页面类型，一个弱到强页面选择（WSPS）机制用于提炼答案可得性，以及一个视觉证据链（VET）用于为生成器创建布局锚定的路径。这种方法显著提高了在DocVQA、ChartQA和MMLongBench…
-
HALDETECT 系统在 ImageEval 2026 上解决多模态模型幻觉问题
研究人员开发了 HALDETECT 系统，旨在识别和减轻大型多模态模型中的幻觉。他们将问题构建为对比决策，优先考虑答案而非其解释，并围绕视觉元素和上下文构建推理。该系统使用 4 位 QLoRA 微调了 Qwen2.5-VL-7B-Instruct，在 ImageEval 2026 幻觉检测任务中获得第三名，证明了微调方法可以优于简单的提示。
-
新数据集和框架应对对话中的多模态大模型安全问题
研究人员推出 MINT-Safe，这是一个旨在解决多模态大语言模型（MLLMs）在扩展对话交互中安全问题的新数据集。该数据集包含 11,270 个多图像对话和 500 对拒绝式视觉问答（VQA）对，是通过多代理交互和文本到图像增强创建的。为了利用 MINT-Safe，该团队还开发了 TAD-Align 框架，该框架使用面向轮次的双目标奖励函数来动态识别和上调表现出不一致安全行为的对话轮次。在 Qwen2.5-VL-7B-Instruc…
-
新研究优化长视频多模态大语言模型的视觉标记处理
研究人员正在探索优化多模态大语言模型（MLLMs）处理视觉信息的方法，尤其是在处理长视频方面。多篇论文介绍了用于选择、压缩和修剪视觉标记以提高效率和准确性的技术。一项研究强调，帧选择是最关键的因素，经典的算法如正交匹配追踪（Orthogonal Matching Pursuit）与新方法相比表现相当。其他方法则侧重于自适应标记化、基于注意力熵的秩保持修剪以及为持续学习动态生成标记。
-
视觉-语言模型在模拟仪表读数方面展现潜力，但可靠性仍存疑
一项新近发表在arXiv上的研究探讨了视觉-语言模型（VLMs）在工业环境中读取模拟仪表方面的有效性。研究人员评估了Qwen2.5-VL-7B-Instruct模型，并采用了多种微调技术，包括使用QLoRA进行参数高效微调。结果显示，在合成和公开数据集上均取得了令人鼓舞的准确率，平均百分比误差分别低至2.39%和2.61%。然而，研究也强调了当模型应用于未见过的数据集时，迁移能力显著下降，并指出了高置信度错误的可能性，这表明目前的VL…
-
中国科学院发布GMC以实现高效多模态AI
中国科学院自动化研究所智东太初大模型团队的研究人员开发了一种名为“基于证据的共核集剪枝”（Grounded Message Coreset Pruning, GMC）的新颖方法。该技术解决了多模态模型中Token冗余带来的高内存占用和推理速度慢的重大挑战。GMC通过自适应地从语义、视觉和空间角度选择互补证据，然后有效地将信息从不太重要的Token传输到代表性Token，所有这些都不需要额外的训练或外部模型。
-
小规模视觉语言模型通过测试时缩放提升多语言视觉任务表现 · 追踪 2 个来源
研究人员调查了测试时缩放（TTS）技术，以提高小规模开放视觉语言模型（VLMs）在多语言视觉问答任务上的性能。他们对 EXAMS-V 基准的研究所使用的模型包括 Qwen2.5-VL-7B-Instruct 和 Qwen3.5-4B，发现提示格式和解码预算比复杂的搜索或验证方法更关键。通过优化这些因素，他们最好的配置在 ImageCLEF 2026 测试集上达到了 84.1% 的准确率，在视觉选择题排行榜上名列前茅。
-
稀疏自编码器：AI可解释性的希望与陷阱
研究人员正在探索稀疏自编码器（SAE）用于机制可解释性，旨在揭示大型语言模型中的不同概念。一种新方法，结构化稀疏自编码器（$S^2AE$），通过对图像块进行分组并应用结构化稀疏正则化，提高了视觉-语言模型中的概念一致性。另一项研究强调了正确设置SAE中L0超参数的关键重要性，因为不正确的值可能导致特征无法解开底层模型概念。此外，一篇观点论文认为，虽然SAE可能在已知概念方面遇到困难，但它们在发现未知概念方面非常强大，在公平性、安全性和…
-
研究发现：视觉语言模型在尼日利亚车牌识别方面优于 YOLO+OCR
一项新近发表在 arXiv 上的研究评估了视觉语言模型（VLMs）在尼日利亚车牌识别方面的有效性，提出它们可以作为传统 You Only Look Once (YOLO) 和光学字符识别 (OCR) 方法的零样本学习替代方案。该研究使用了包含 88 张具有挑战性图像的数据集，并比较了五种领先的 VLM：Gemini 2.0 Flash Exp、Qwen2.5-VL-7B-Instruct、GPT-4o、Claude 4 Sonnet …
-
新研究探讨LLM提示攻击与防御
两篇新研究论文探讨了大型语言模型（LLM）和大型视觉语言模型（LVLM）的漏洞和防御。第一篇论文介绍了提示的鲁棒性（RoP），这是一种旨在通过纠正输入错误和生成最优引导提示来增强LLM对抗对抗性扰动的韧性的策略。第二篇论文详细介绍了一种多轮自适应提示攻击（MAPA），该攻击通过交替进行文本-视觉攻击并迭代优化攻击轨迹来放大恶意响应，从而针对LVLM，并在多个基准测试中优于现有方法。
-
Theorem-SFT通过教授定理应用来改善模型的推理能力
研究人员开发了一种名为Theorem-SFT的新方法，以提高监督微调（SFT）模型的泛化能力。该方法将重点从记忆具体的解题对转移到理解和应用显式定理。在数学推理基准测试中，Theorem-SFT表现出显著的性能提升，当应用于LLaMA3.2-3B-Instruct和Qwen2.5-VL-7B-Instruct模型时，在MATH和GeoQA数据集上取得了显著的进步。
-
新的DPE方法推动大型多模态模型的针对性改进
研究人员为大型多模态模型（LMMs）开发了一种名为诊断驱动渐进式演进（DPE）的新型迭代训练方法。该方法利用诊断反馈来指导数据生成和强化，旨在解决能力盲点。在Qwen模型上的实验表明，在多个基准测试中持续改进，表明DPE可扩展用于持续的LMM训练。
-
AutoSurfer 通过系统性探索和任务合成增强网络代理训练
研究人员开发了 AutoSurfer，一个旨在为网络代理生成全面训练数据的新系统。该系统采用系统性的广度优先探索策略，以彻底映射网站功能，模仿人类学习模式。AutoSurfer 还利用此探索数据来指导任务合成和优化代理轨迹，显著减少错误并提高准确性。在 WebArena 基准测试上的评估显示，AutoSurfer 训练的代理任务完成准确率高达 24.23%，超越了先前最先进的方法。