Qwen3 VL
PulseAugur coverage of Qwen3 VL — every cluster mentioning Qwen3 VL across labs, papers, and developer communities, ranked by signal.
- developed by DagsHub 90%
- used by MiniMax H3 90%
- developed by ScienceCast 90%
- instance of vision-language model 90%
- used by H3 Healthcare Three Hop Index 90%
- instance of Gotit.pub 90%
- instance of CatalyzeX 90%
- used by ScienceCast 80%
- used by DagsHub 70%
- used by alphaXiv 70%
- used by Gotit.pub 70%
- instance of ScienceCast 70%
- 2026-08-04 product_launch Alibaba Group has increased the pricing for its Qwen3 VL model. 来源
16 天有情绪数据
-
新的 DR-BOLT 方法增强了 VLM 的自适应推理能力
研究人员开发了一种名为双参考离线优化(DR-BOLT)的新方法,以提高视觉语言模型(VLM)的推理能力。该方法使 VLM 能够适应其思考过程,直接回答简单查询,同时为更复杂的任务进行分步推理。DR-BOLT 通过区分快速和慢速思考策略来解决过度思考和高推理成本的问题,从而改善了分数-长度权衡并显著加快了训练速度。
-
多模态AI训练旨在模仿超越简单回应的人类认知
研究人员正在探索新的方法来训练多模态AI模型,使其更像人类一样思考,而不仅仅是模仿人类的回应。一项题为“使多模态大语言模型与人类认知的潜在结构对齐”的研究提出将人类感知原则融入AI训练过程。当前的Qwen3-VL等模型在需要类似人类推理的任务中表现出局限性,例如在一组图像中找出不同寻常的图像,其准确率仅略高于随机猜测。
-
用户为单块 3060 GPU 寻找视觉模型
一位 r/LocalLLaMA 子版块的用户正在寻找能在单块 NVIDIA 3060 显卡上高效运行的视觉模型推荐。他目前在 A380 上使用 Qwen3-VL,但发现对于包括 Frigate、Home Assistant 和日志记录在内的本地工作负载来说速度太慢。
-
研究人员揭示视觉语言模型(VLM)图像描述规划机制
研究人员阐述了视觉语言模型(VLM)用于规划其注视点并按顺序描述图像的机制。该机制包括将文本标记与图像区域关联起来的绑定头(binding heads),指示描述程度的进度信号(progress signal),用于选择下一个区域的选择步骤(selection step),以及执行指针以识别视觉概念的注视头(gaze heads)。研究在 Qwen3-VL 模型中验证了这些组件,并发现该机制在不同模型大小和输入格式下保持一致,从而深入…
-
Mac和Windows顶级本地AI应用提供私有、离线LLM体验
有几款应用程序可在个人电脑上本地运行大型语言模型,提供隐私和离线功能。Off Grid AI被重点介绍为Mac、Windows和Linux的综合选项,支持使用Qwen-Image 2.1和Gemma 4等模型进行聊天、图像生成和文档查询。LM Studio因其易于使用各种模型并提供兼容OpenAI的本地服务器而受到关注,而Jan则提供完全开源、类似ChatGPT的体验。Ollama作为开发者的基础模型运行器,AnythingLLM则专…
-
AI 视频在 RTX 3050 上本地生成,耗时不到 7 小时
一位 Reddit 用户分享了在配备 6GB 显存的 GeForce RTX 3050 上本地生成 60 秒 AI 视频的详细过程。该视频使用了 ComfyUI 中的 MiniMax H3 参考到视频模型,并采用了该模型的量化版本以及 Qwen3-VL 文本编码器。该过程包括使用一致的角色参考、特定的六段式提示格式,并将六个片段链接在一起,每个片段都从前一个片段的帧开始以保持连续性。整个生成过程,包括通过 Python 脚本和 Com…
-
视觉语言模型依赖 ViT 位置编码进行空间理解
一项新的研究论文探讨了视觉语言模型如何解释空间关系,特别是左右区分。研究发现,视觉 transformer (ViT) 中的位置编码对于模型正确识别左右方向至关重要。使用 Qwen2.5-VL 和 InternVL3 等模型的实验表明,改变这些 ViT 位置编码会显著影响它们准确回答左右问题的能力,而改变语言模型的 token 顺序影响较小。
-
新基准测试区分多模态大模型中的视觉感知与计数能力
研究人员开发了一种新方法来评估多模态大语言模型(LLMs),通过将其视觉感知能力与其计数能力分离开来。通过向模型展示图表并询问关于其中简单和复杂计数的有关问题,该研究旨在 pinpoint 模型出现故障的地方。对 Gemini、Gemma 和 Qwen3-VL 等模型的测试表明,虽然这些模型通常能准确读取小型图表,但它们在复杂的计数任务上存在困难,随着答案大小的增加而非复杂性类别的增加,性能会下降。当提供代码和转录时,一些模型表现出更…
-
新的THG-Omni框架通过图监督改进AI视频推理
研究人员开发了THG-Omni,一个旨在增强全模态AI模型视频推理能力的新型框架。该系统使用人本图监督方法,将来自Segment Anything Model的参与者轨迹与Qwen3-VL注释链接起来,以提供明确的时空上下文。在IntentBench和NExT-QA等基准上的实验表明,THG-Omni通过教会模型解释结构化视频证据,显著提高了诸如社交推理、情感理解和欺骗感知等任务的准确性。
-
基于 ComfyUI 和 MiniMax H3 构建的开源电影工作室,可在 PC 上使用
一位开发者创建了 IV Studio,这是一款免费的开源桌面应用程序,它利用 ComfyUI 和 MiniMax H3 使个人用户能够在自己的计算机上制作短片。该应用程序自动化了电影制作的各个阶段,从提示生成和场景编排到编辑和渲染,集成了 Qwen3-VL、OpenAI Whisper、SAM 3.1 以及各种音乐和语音模型等工具。它还为 GPU 性能较低的用户提供了在 Runpod 和 Modal 等平台上进行云渲染的选项。
-
腾讯发布统一视觉语言模型 WeVisOne-VL
腾讯的微信视觉团队推出了 WeVisOne-VL,这是一个开源的视觉语言模型,提供 2B 和 4B 参数规模。该统一模型能够执行多种任务,包括对象检测、OCR、分割和抠图,无需单独的专用模型。WeVisOne-VL 使用了一个 9.6M 参数的像素解码器,并基于 Qwen3-VL 架构构建,自我报告的基准测试表明其在 30 多个任务上的性能优于同等规模的模型。
-
新的强化学习算法增强了视觉语言模型的图像分析能力
研究人员开发了一种新的强化学习算法——Observation Policy Optimization (OPO),旨在改进视觉语言模型与高分辨率图像的交互方式。OPO解决了视觉问答中因不正确的观察动作(如错误识别关键区域或从图像裁剪中获取的证据不足)而导致的失败。该算法采用不确定性引导观察分支 (UOB) 来探索不同的裁剪决策,并采用证据局部化优势归因 (ELAA) 来为特定的观察动作分配功劳。实验表明,OPO增强了视觉证据获取和推理…
-
Minimax 发布 H3-Image 模型,具备 16MP 生成和编辑能力
Minimax 发布了其 H3-Image 模型的权重,这是一个拥有 331 亿参数的扩散 transformer 模型,能够在短短六步内生成 1600 万像素的图像。该模型还支持使用多达 16 张参考图像进行图像编辑,为创作者提供精细的控制和逼真的输出。虽然该模型是开源的,但其许可证包含一项条款,要求年收入超过 100 万美元的实体或提供托管服务的实体需要单独授权。
-
Mago Studio 发布支持本地优先的开源AI制作套件
Mago Studio 发布了一个开源、本地优先的AI制作套件,提供端到端的图像和视频生成流程。该工具包含脚本到影片转换、项目管理和迭代编辑等功能。它利用各种AI模型执行不同任务,包括用于LLM功能的Qwen 3.8,用于图像描述的Qwen3-VL,用于视频的MiniMax H3,以及用于图像生成和编辑的Qwen Image/Edit和Flux,并允许用户灵活替换为自己偏好的模型。
-
VizDAGuide 提升视觉语言模型解读误导性图表的能力
研究人员开发了 VizDAGuide,一种新颖的方法,用于训练视觉语言模型更好地回答有关误导性图表的问题。该方法使用有向无环图 (DAG) 来表示中间推理步骤及其依赖关系,并根据其重要性分配监督权重。在 Qwen3 VL 和 InternVL3.5 模型上的实验表明,在开放式和选择题问答任务上,性能优于现有基线。
-
新的基准Drone-PUR测试无人机场景中的VLM推理能力
研究人员推出了Drone-PUR,这是一个新的数据集和基准,旨在评估视觉语言模型(VLM)在无人机(UAV)场景中的推理能力。该基准侧重于视觉线索的发现、解释和整合,任务要求模型结合多个视觉线索得出基于事实的结论。对22个VLM的评估揭示了它们在空间判断和跨模态推理方面的局限性,尽管更强的感知能力与更好的推理能力相关。研究还表明,通过辅助监督对Qwen3-VL模型进行微调,可以显著提高其在无人机特定任务上的性能。
-
新的Timbre框架改进了多模态测试时强化学习
研究人员开发了一个名为Timbre的新框架,用于无标签多模态测试时强化学习。该方法解决了因误解证据或文本表述而可能出现的、一致但错误的共识问题。Timbre使用可靠性感知谐波共识来聚合来自原始和扰动输入的信��,并根据伪标签置信度变化调整模态权重。在六个基准和三个Qwen3-VL模型规模上的实验表明,Timbre在适应性和向未见实例的迁移方面优于现有方法。
-
腾讯发布 WeVisOne-VL-4B 多模态模型支持本地部署
腾讯发布了 WeVisOne-VL-4B,一个基于 Qwen3-VL 构建的多模态感知模型,能够执行对象检测、分割和 OCR 等任务。这个 4B 参数模型可以使用 Ollama 或 llama.cpp 在 8GB GPU 上本地运行,但掩码生成需要单独的解码器。腾讯的基准测试显示,WeVisOne-VL-4B 在抠图和拒绝不存在目标等特定任务上优于 Qwen3-VL-8B 和其他模型,但该比较被指出缺少一些关键的基线。
-
llama.cpp 为 hexagon 后端添加 UPSCALE 支持
llama.cpp 项目发布了 b11982 版本,在其 hexagon 后端中引入了对 UPSCALE 操作的支持。此次更新包括对最近邻和双线性上采样的优化,改进了对非连续行和维度折叠的处理,并使用了 vgather 以提高效率。此外,还添加了一个置换 UPSCALE 测试,专门用于处理涉及 Qwen3 VL 图像到文本任务的场景。
-
新管线推动多模态AI模型中的3D空间推理
研究人员开发了两种不同的管线,用于将大型多模态模型适应3D空间推理任务。第一种管线对HiSpatial-3B模型进行了微调,在自定义空间数据集上的准确率从1.73%显著提高到79.89%。第二种管线利用QLoRA对Qwen3-VL模型进行内存高效微调,其中8B版本的准确率从20.74%提高到45.27%,32B版本的准确率从30.79%提高到47.60%。这些努力为几何感知多模态系统建立了可复现的方法,并强调了训练数据构成在专业化过程…