Qwen2.5-VL-7B-Instruct
PulseAugur coverage of Qwen2.5-VL-7B-Instruct — every cluster mentioning Qwen2.5-VL-7B-Instruct across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新数据集和框架应对对话中的多模态大模型安全问题
研究人员推出 MINT-Safe，这是一个旨在解决多模态大语言模型（MLLMs）在扩展对话交互中安全问题的新数据集。该数据集包含 11,270 个多图像对话和 500 对拒绝式视觉问答（VQA）对，是通过多代理交互和文本到图像增强创建的。为了利用 MINT-Safe，该团队还开发了 TAD-Align 框架，该框架使用面向轮次的双目标奖励函数来动态识别和上调表现出不一致安全行为的对话轮次。在 Qwen2.5-VL-7B-Instruc…
-
新方法修剪MLLMs中的视觉标记以提高效率
研究人员正在开发新的方法来修剪多模态大语言模型（MLLMs）中的视觉标记，以减少推理过程中的计算开销。这些技术旨在选择性地移除信息量较少的标记，同时保留图像和视频理解等任务所必需的空间和语义信息。目前正在探索RaDiCal、S$^2$Prune、KATok和视觉标记编码（VTC）等方法，其中一些方法在保持Flickr30K、MSCOCO和FashionIQ等基准测试的高性能的同时，实现了标记数量的大幅减少。
-
视觉-语言模型在模拟仪表读数方面展现潜力，但可靠性仍存疑
一项新近发表在arXiv上的研究探讨了视觉-语言模型（VLMs）在工业环境中读取模拟仪表方面的有效性。研究人员评估了Qwen2.5-VL-7B-Instruct模型，并采用了多种微调技术，包括使用QLoRA进行参数高效微调。结果显示，在合成和公开数据集上均取得了令人鼓舞的准确率，平均百分比误差分别低至2.39%和2.61%。然而，研究也强调了当模型应用于未见过的数据集时，迁移能力显著下降，并指出了高置信度错误的可能性，这表明目前的VL…
-
中国科学院发布GMC以实现高效多模态AI
中国科学院自动化研究所智东太初大模型团队的研究人员开发了一种名为“基于证据的共核集剪枝”（Grounded Message Coreset Pruning, GMC）的新颖方法。该技术解决了多模态模型中Token冗余带来的高内存占用和推理速度慢的重大挑战。GMC通过自适应地从语义、视觉和空间角度选择互补证据，然后有效地将信息从不太重要的Token传输到代表性Token，所有这些都不需要额外的训练或外部模型。
-
小规模视觉语言模型通过测试时缩放提升多语言视觉任务表现 · 追踪 2 个来源
研究人员调查了测试时缩放（TTS）技术，以提高小规模开放视觉语言模型（VLMs）在多语言视觉问答任务上的性能。他们对 EXAMS-V 基准的研究所使用的模型包括 Qwen2.5-VL-7B-Instruct 和 Qwen3.5-4B，发现提示格式和解码预算比复杂的搜索或验证方法更关键。通过优化这些因素，他们最好的配置在 ImageCLEF 2026 测试集上达到了 84.1% 的准确率，在视觉选择题排行榜上名列前茅。
-
稀疏自编码器：AI可解释性的希望与陷阱
研究人员正在探索稀疏自编码器（SAE）用于机制可解释性，旨在揭示大型语言模型中的不同概念。一种新方法，结构化稀疏自编码器（$S^2AE$），通过对图像块进行分组并应用结构化稀疏正则化，提高了视觉-语言模型中的概念一致性。另一项研究强调了正确设置SAE中L0超参数的关键重要性，因为不正确的值可能导致特征无法解开底层模型概念。此外，一篇观点论文认为，虽然SAE可能在已知概念方面遇到困难，但它们在发现未知概念方面非常强大，在公平性、安全性和…
-
研究发现：视觉语言模型在尼日利亚车牌识别方面优于 YOLO+OCR
一项新近发表在 arXiv 上的研究评估了视觉语言模型（VLMs）在尼日利亚车牌识别方面的有效性，提出它们可以作为传统 You Only Look Once (YOLO) 和光学字符识别 (OCR) 方法的零样本学习替代方案。该研究使用了包含 88 张具有挑战性图像的数据集，并比较了五种领先的 VLM：Gemini 2.0 Flash Exp、Qwen2.5-VL-7B-Instruct、GPT-4o、Claude 4 Sonnet …
-
新研究探讨LLM提示攻击与防御
两篇新研究论文探讨了大型语言模型（LLM）和大型视觉语言模型（LVLM）的漏洞和防御。第一篇论文介绍了提示的鲁棒性（RoP），这是一种旨在通过纠正输入错误和生成最优引导提示来增强LLM对抗对抗性扰动的韧性的策略。第二篇论文详细介绍了一种多轮自适应提示攻击（MAPA），该攻击通过交替进行文本-视觉攻击并迭代优化攻击轨迹来放大恶意响应，从而针对LVLM，并在多个基准测试中优于现有方法。
-
Theorem-SFT通过教授定理应用来改善模型的推理能力
研究人员开发了一种名为Theorem-SFT的新方法，以提高监督微调（SFT）模型的泛化能力。该方法将重点从记忆具体的解题对转移到理解和应用显式定理。在数学推理基准测试中，Theorem-SFT表现出显著的性能提升，当应用于LLaMA3.2-3B-Instruct和Qwen2.5-VL-7B-Instruct模型时，在MATH和GeoQA数据集上取得了显著的进步。
-
新的DPE方法推动大型多模态模型的针对性改进
研究人员为大型多模态模型（LMMs）开发了一种名为诊断驱动渐进式演进（DPE）的新型迭代训练方法。该方法利用诊断反馈来指导数据生成和强化，旨在解决能力盲点。在Qwen模型上的实验表明，在多个基准测试中持续改进，表明DPE可扩展用于持续的LMM训练。
-
AutoSurfer 通过系统性探索和任务合成增强网络代理训练
研究人员开发了 AutoSurfer，一个旨在为网络代理生成全面训练数据的新系统。该系统采用系统性的广度优先探索策略，以彻底映射网站功能，模仿人类学习模式。AutoSurfer 还利用此探索数据来指导任务合成和优化代理轨迹，显著减少错误并提高准确性。在 WebArena 基准测试上的评估显示，AutoSurfer 训练的代理任务完成准确率高达 24.23%，超越了先前最先进的方法。