Qwen3.5 4B
PulseAugur coverage of Qwen3.5 4B — every cluster mentioning Qwen3.5 4B across labs, papers, and developer communities, ranked by signal.
- 2026-07-07 research_milestone Researchers presented a method for efficient inference of the Qwen3.5-4B model, achieving significant speedups. 来源
6 天有情绪数据
-
Liquid AI 开源 Antidoom 以修复 AI 模型灾难循环 · 已追踪 2 个来源
Liquid AI 推出了 Antidoom，这是一种开源方法，旨在缓解 AI 推理模型中的“灾难循环”。此问题会导致模型反复输出相同文本，消耗上下文窗口，在面临复杂任务的小型模型中尤为普遍。Antidoom 专门针对并重新训练触发循环的初始 token，鼓励模型选择连贯的替代方案。该技术已取得显著成功，将 LFM2.5-2.6B 的循环率从 10.2% 降低到 1.4%，将 Qwen3.5-4B 的循环率从 22.9% 降低到 1%…
-
Qwen3.5-4B推理通过量化和投机解码加速
研究人员为Qwen3.5-4B语言模型开发了一个高效的推理系统，在NVIDIA A10G GPU上实现了6.978倍的加速。他们的方法结合了量化目标模型和投机解码，并采用感知量化蒸馏来保持准确性。一个针对量化目标优化的专用草稿器模型经过两阶段训练以加速解码。该方法还结合了量化和滑动窗口注意力来降低开销并改善长上下文延迟，最终在Efficient Qwen竞赛中排名第三。
-
新的 ASK+ 方法增强了强化学习代理的 LLM 指导
研究人员开发了一种名为 ASK+ 的新方法，以改进小型语言模型 (SLM) 为在部分可观测性下运行的强化学习代理提供的指导。传统的基于不确定性门控的方法效果不佳，由于提示中的上下文不足，SLM 很少能采取独立行动。ASK+ 通过提供轨迹感知上下文（包括访问过的位置和动作历史）以及结构化的思维链推理来解决这个问题。这种增强将 SLM 转变为更具信息量的顾问，从而在 DoorKey、FourRooms 和 HigherLower 等各种环…
-
新方法训练大型语言模型决定何时使用搜索工具
研究人员开发了一种新的方法，用于训练大型语言模型（LLMs）决定何时使用外部搜索工具。这种反事实监督方法比较了使用搜索和不使用搜索的结果，以创建一个指导大型语言模型路由策略的“神谕”。该方法显著提高了 Gemma E2B 和 Qwen3.5-4B 模型的路由性能，增强了它们抑制不必要搜索或识别何时需要更多信息的能力。
-
Hugging Face 和 SkyPilot 集成，实现零出口云 AI 工作负载
Hugging Face 和 SkyPilot 已合作，使用户能够在任何云上运行 AI 工作负载，同时在 Hugging Face 上存储数据，且无出口费用。此次集成使得存储在 Hugging Face Hub 上的模型和数据集可以直接被运行在各种云提供商、Kubernetes 或本地系统上的 SkyPilot 作业访问。该系统利用 Hugging Face 的 hf-mount FUSE 后端进行惰性、字节级数据获取，确保 GPU …
-
Competence Gate 适配器提高了 Qwen3.5-4B 的工具使用和隐私性
一个名为 Competence Gate 的新开源适配器已为 Qwen3.5-4B 模型开发，旨在提高其在工具使用方面的可靠性。该适配器利用模型的内部置信度信号而非其口头输出，来决定何时搜索网络或访问本地文档，从而降低生成错误信息的可能性。它还通过将敏感查询路由到本地检索器而非公共搜索引擎来增强隐私性，减少了私人数据泄露。
-
Neuro-Symbolic Drive 通过规则驱动的推理增强驾驶视觉语言模型
研究人员开发了 Neuro-Symbolic Drive，这是一个增强驾驶视觉语言模型（VLAs）推理能力的新颖框架。该方法将经典的基于规则的规划逻辑与 VLA 的自然语言解释相结合，以确保模型的推理与其规划的动作直接且因果相关。通过使用结构化的规则驱动推理轨迹对 Qwen3.5-4B 模型进行微调，Neuro-Symbolic Drive 在模拟驾驶场景中显著降低了运动预测错误和漏检率。
-
Qwen模型在各硬件层级的本地视觉AI基准测试中领先
最新的本地视觉模型基准测试更新显示，Qwen3.6 27B (nothink) 在Q4量化下是拥有24GB+显存的系统中的最佳性能者，得分79.6/100。对于中端硬件（12-16GB显存），推荐使用Qwen3-VL 8B在Q8量化下，而较小的设置（4-8GB显存）则最受益于Qwen3.5 4B (nothink) 在Q4量化下。基准测试还强调，“思考”模式通常会降低视觉性能，并且混合专家（MoE）模型在视觉任务上与同等大小的密集模型…
-
SoftSkill 方法将 LLM 技能压缩为紧凑的潜在控制
研究人员开发了 SoftSkill，一种通过将技能压缩为紧凑、连续的上下文对象来使大型语言模型适应特定任务的新方法。该方法使用可训练的“软 delta”来精炼冻结的主干模型，其性能显著优于传统的基于 Markdown 的技能文件。SoftSkill 在 SearchQA、LiveMath 和 DocVQA 等基准测试中显示出显著的准确性提高，同时大大减少了技能编码所需的 token 数量。
-
阿里巴巴推出Qwen AI机器人模型以实现物理世界交互 · 跟踪4个来源
阿里巴巴集团推出了首套专为机器人设计的AI模型，旨在将人工智能能力从聊天机器人扩展到物理世界。该Qwen机器人套件由通义实验室开发，包含用于导航、预测物理场景演变和执行动作的模型。该套件目前正与部分阿里云企业客户进行试点测试。
-
LLM干预揭示了可分离的注意力、状态和行为
研究人员调查了大型语言模型在功能崩溃状态下对不同类型干预的反应。使用Qwen3.5-4B模型，他们发现注意力主要由词汇惊喜驱动，打乱的消息吸引了最多的注意力。然而，行为反应受到关系干预的显著影响，特别是当与第一人称语域结合时。
-
M1 Max 推理引擎基准测试：rapid-mlx 领先
一位爱好者在 M1 Max MacBook Pro 上使用 Qwen3.5-4B 模型对多个推理引擎进行了基准测试。结果提交给 mlx-chronos 社区基准测试后表明，rapid-mlx 在速度和内存效率方面提供了最佳性能。该用户现在正在使用 rapid-mlx 来部署 Qwen35b-A3b 模型。
-
RTX 5090 难以在 Qwen3.5-4B 模型上超过 250 TPS
Reddit 的 r/LocalLLaMA 论坛上一位用户在使用 RTX 5090 GPU 运行 Qwen3.5-4B 模型时遇到了性能问题。尽管使用了高端 GPU，用户仅实现了约每秒 250 个 token 的吞吐量，远低于小型模型的预期。他们尝试了不同的配置，包括不同的 Docker 镜像和 LM Studio，但瓶颈依然存在，GPU 利用率很低。
-
Harbor v0.4.19 推出集成 LLM 网关的本地编码代理
Harbor 发布了 v0.4.19 版本，为启动本地代理式编码工具带来了增强的功能。此次更新允许用户集成 vLLM、SGLang 和 llama.cpp 等各种本地推理后端。此外，新版本还包含一个优化的 LLM 网关，可自动注入和解析 Web 搜索等工具，简化了为代理添加外部功能的过程。
-
本地AI工具改进：llama.cpp修复、NuExtract3 VLM、Qwen3.6速度提升
本周AI新闻包括对llama.cpp服务器中检查点创建的关键修复，提高了其在长期代理任务中的可靠性。此外，NuExtract3已发布，这是一个开源的4B视觉语言模型，能够从图像和文本中提取结构化数据，专为在消费级硬件上自托管而设计。最后，基准测试显示Qwen3.6 27B模型在NVIDIA V100 GPU上实现了令人印象深刻的每秒1000个token的生成速率，展示了开源模型本地推理速度的进步。
-
Numind发布NuExtract3，一款用于文档提取的4B开源VLM
Numind发布了NuExtract3，这是一款开源的4B视觉语言模型，专为从复杂文档中提取信息而设计。该模型基于Qwen3.5-4B构建，并采用Apache-2.0许可，能够将文档图像转换为Markdown，将结构化数据提取到JSON模板中，并处理各种视觉输入。它设计为可自托管，所需的VRAM要求极低，并提供多种权重格式以实现广泛兼容性。