Qwen3.6 35B-A3B
PulseAugur coverage of Qwen3.6 35B-A3B — every cluster mentioning Qwen3.6 35B-A3B across labs, papers, and developer communities, ranked by signal.
- 2026-10-08 research_milestone Researchers successfully removed Chinese Communist Party alignment from the Qwen3.6-35B-A3B model, significantly reducing censored and propaganda-based responses. 来源
- 2026-06-25 product_launch Alibaba's Qwen team released the Qwen3.6-35B-A3B model, a sparse MoE model designed for efficient local deployment. 来源
- 2026-05-19 product_launch A method to run a 35B multimodal LLM on free Kaggle GPUs via an OpenAI-compatible API has been developed. 来源
20 天有情绪数据
-
开发者测试 Claude Code 的代码模式概念,发现 token 节省显著
一位开发者测试了 Anthropic 新推出的 Claude Code 代码模式背后的概念,使用本地 AI 模型来模拟该方法。测试包括执行三项编码任务:查找损坏的链接、计算 TODO 注释以及编辑多个文件。结果显示,受代码模式启发的这种方法,通过脚本链接工具调用,与传统的每条消息调用一次工具的方法相比,消耗的 token 数量减少了 11 倍,并且需要减少 6 个轮次。这种方法也被证明更准确,在所有运行中都正确计算了 TODO,而经典…
-
系统RAM带宽而非显存限制LLM性能
dev.to 上的一项最新分析显示,对于大型语言模型而言,系统RAM带宽而非显存容量,是消费级硬件上性能的主要瓶颈。作者演示了一台配备4GB GTX 1650 Max-Q GPU和DDR4-2933 RAM的机器,在运行Qwen3.6-35B-A3B模型时,其速度与配备128GB LPDDR5X-9400 RAM的高端Surface Laptop Ultra相当。这是因为每个token所需的活动参数集足够小,可以从内存中加载,因此系统…
-
Phancy 发布 Phai-A1 编码和代理模型的开放权重
Phancy(原名 4Paradigm)已发布 Phai-A1 的开放权重,这是一款专为编码和代理任务设计的模型。该模型基于 Qwen3.6-35B-A3B 混合专家架构。训练过程使用了华为昇腾 NPU,模型检查点可在 Hugging Face 和 ModelScope 上获取。
-
MacBook Pro配置对本地LLM性能的评估
本文分析了不同MacBook Pro配置运行本地大型语言模型(LLM)的性能,特别是搭载M6+、M5 Pro和M5 Max芯片的型号。文章提供了使用Qwen3.8-27B和Qwen3.6-35B-A3B模型进行token处理速度(tok/s)的基准测试,并考虑了16GB至128GB的不同内存容量。分析旨在指导用户根据预算和本地LLM执行的性能需求,选择最佳的MacBook Pro。
-
35B MoE 模型通过混合 CPU/GPU 推理在 4GB 显存 GPU 上运行
一项技术测试表明,一个拥有 350 亿参数的混合专家(MoE)模型 Qwen3.6-35B-A3B,可以在只有 4GB 显存的消费级 NVIDIA GTX 1650 Max-Q GPU 上运行。实现这一可行性的关键在于 MoE 架构,它为每个 token 只使用其参数的一个子集,从而允许模型的大部分权重存储在系统内存(RAM)而非显存(VRAM)中。这种混合 CPU/GPU 推理方法实现了每秒 21-22 个 token 的实际速度,…
-
LLM 基准测试显示 MoE 模型在单 GPU 上提供更好的多流性能
最近的一项基准测试探索了在单个 GPU 上并发运行多个 LLM 流的性能,具体使用的是一块拥有 16GB 显存的 Radeon RX 6900 XT。研究发现,虽然总吞吐量随着流的数量增加而增加,但并非线性扩展,大部分收益在三个或四个流时观察到。与密集模型相比,混合专家(MoE)模型表现出显著更好的性能,在处理多个并发用户时提供更高的每用户速度和更好的整体吞吐量。
-
研究人员将递归自我改进应用于 AI 预训练
研究人员已将递归自我改进(RSI)应用于 AI 模型开发的预训练阶段,这是一种新颖的方法,与以往侧重于训练后增强的工作不同。这篇论文详细介绍了这种新方法,它将复杂的预训练过程分解为更小、可管理的循环,以迭代地改进整个系统,包括数据管道和训练基础设施。其成果是 801-30B-A3B-Base 模型,这是一个拥有 300 亿参数的混合专家模型,在三个月内使用 11.8 万亿个 token 进行训练。该基础模型表现强劲,优于几个可比模型,…
-
本地LLM基准测试显示MoE模型在内存带宽方面存在困难
一位用户在Surface Laptop Ultra上使用llama.cpp在本地运行了八个不同的大型语言模型(LLM)并进行了基准测试。测试重点关注内存带宽,结果显示,稠密模型达到了系统理论内存天花板的约89%,而混合专家(MoE)模型仅达到43%-67%。这一显著的性能差距凸显了MoE架构中路由机制带来的开销。
-
Windows on Arm上本地LLM的速度与活动参数相关,而非总大小
在Surface Laptop Ultra上进行的性能测试显示,本地大型语言模型的生成速度与其每个token的活动参数数量更相关,而非其总大小。例如,GPT-OSS 120B模型尽管总参数量远大于Qwen3.8-27B模型,但其运行速度却约为后者的3.9倍。然而,速度并不总是与能力相关,最快的模型在修复一个简单的单字符配置错误时遇到了困难。
-
35B模型通过SSD流式传输在16GB内存ThinkPad上本地运行
一位用户成功地在2020年的ThinkPad笔记本上本地运行了“体素宝塔”提示,该笔记本配备16GB内存且没有独立GPU。该设置利用了Qwen3.6-35B-A3B模型,该模型大于可用内存,通过从SSD流式传输密集权重和专家缓存来实现。这种基于llama.cpp的方法实现了每秒2.3个token的速度,尽管由于需要重新读取整个对话,代理轮次速度较慢。与具有类似内存的Mac相比,其性能明显较慢。
-
Groot-19B-A3B 模型在 RTX 5090 上运行 256K 上下文,揭示内存限制
一篇技术深度分析探讨了在单张 RTX 5090 GPU 上运行 Groot-19B-A3B 语言模型的实际可行性,该模型声称拥有 256K 令牌上下文窗口。分析显示,实现此上下文长度需要仔细的内存管理,模型的权重占用了 GPU 内存的很大一部分,为 KV 缓存留下了有限的空间。文章还强调了该模型的
-
AI Roundup: Grok Bot 1.0, Gemini Decisions API, and Praxis-1 Model Released
已宣布多项AI进展,包括Google的Gemini Decisions API用于多模态决策,以及Runway ML发布的Praxis-1,一个擅长动作预测的开源机器人模型。此外,Grok Bot 1.0推出了团队协作功能,如共享连接器和与通信平台的集成。研究还表明,LLM可以使用填充令牌学习多步推理,并且正在开发新的方法来即时推导核而不是手动编写它们。
-
开源 MACaQ 量化方法优于 Unsloth 和 Bartowski
一种名为 MACaQ 的新型开源量化方法,其性能优于 Unsloth 和 Bartowski 等现有方法。基准测试显示,MACaQ 在 Qwen3-4B 和 Qwen3.6-35B-A3B 等各种模型上实现了更低的 KL 散度(量化误差的度量),文件大小通常相似或更小。该方法由华为 CSL 开发,还拥有高效的量化速度,能够在有限的 GPU 内存下,在一小时内处理一个 122B 参数的模型。
-
RustingStrata 在 RTX 3060 推理速度上领先 PolyStrata 和 llama.cpp
在一块 RTX 3060 12 GB GPU 上,使用 Qwen3.6-35B-A3B 模型对三种不同的推理引擎——RustingStrata、PolyStrata 和 llama.cpp——进行了性能比较。RustingStrata 在提示处理和 token 生成方面均表现出更快的速度,在大多数测试场景中优于其他两个引擎。该基准测试突显了每个引擎在处理模型量化、多轮草稿和特定硬件优化方面的差异。
-
Ollama 与 llama.cpp 对比:速度差距源于默认设置,而非引擎
对 Ollama 和 llama.cpp 在同一 GGUF 模型上的性能比较显示,最初 15% 的速度差异是由于默认设置造成的,而不是底层引擎。当两个应用程序都配置了相同的 draft 和 sampling 参数后,它们的性能几乎相等。Ollama 默认使用具有两个 draft token 的多 token 预测 (MTP) 推理解码,这导致了其在初始测试中速度更快。
-
开放 MoE 模型在路由细节上存在分歧:DeepSeek、Qwen、Llama 4 对比
对开放式混合专家模型 (MoE) 的比较显示,尽管核心理念相同,但它们的路由机制却存在显著差异。模型的专家数量从 8 到 384 不等,每个 token 选择的专家数量从 1 到 8 不等。一些模型包含一个持续激活的共享专家,而另一些模型则完全省略了此功能。路由策略的选择会影响内存需求和计算效率,其中一些模型(如 DeepSeek-V4-Pro)需要多 GPU 设置,而另一些模型(如 gpt-oss-120b)则可以在单个 GPU 上运行。
-
MoE 路由策略详解:Top-K、Expert-Choice、Sigmoid Gating 和动态路由
混合专家(Mixture-of-Experts, MoE)路由策略对于大型语言模型的性能、负载均衡和成本至关重要。本指南详细介绍了七种生产级策略,包括 Top-K、Expert-Choice 和 Sigmoid Gating,并重点介绍了它们在 Mixtral、DeepSeek V4-Pro 和 Qwen3 等模型中的实现。关键发现表明,带有偏差平衡的 Sigmoid Gating 是前沿开放 MoE 模型中普遍采用的技术,与其他方法…
-
Qwen3.6 LLM 通过 oMLX 在 MacBook Pro 上本地运行,速度很快
一位用户使用 oMLX 框架和 openCode 成功在 MacBook Pro 上本地运行了 Qwen3.6-35B-A3B 大型语言模型。该设置能够实现快速的 token 输出,估计每秒约 100 个 token,从而无需互联网连接即可进行聊天和编码任务。该模型是一种专家混合(Mixture of Experts)类型,每个 token 使用约 30 亿个活跃参数,这有助于其速度和 4 位量化后的可管理大小,使其适合 Apple …
-
招商局金山实验室发布具身推理模型
招商局金山实验室发布了“驭物™ Lion-ER-35B-A3B”,一个拥有350亿参数的具身推理模型,在推理时激活约30亿参数。该模型采用能力驱动的数据引擎,专注于围绕特定能力系统地设计训练数据,而非简单地增加数据量。这种方法在十个主流具身AI基准测试中带来了改进,并且该模型在几个核心能力上超越了更大参数的模型。
-
MemT-1.0-Nano将聊天记忆压缩到41.9MB文件
MemT-1.0-Nano是MemTensor基于Qwen3.6-35B-A3B推出的一个开放模型,它通过将对话历史压缩成一个固定大小的数值块,为聊天记忆提供了一种新颖的方法。这个大约41.9MB的块被保存到磁盘,并可以重新加载到新的会话中,使模型能够在不重新发送整个对话记录的情况下保留上下文。虽然这种方法在短对话历史上的速度比传统方法慢,但对于长对话来说,它会变得更有效率,有可能节省大量的GPU内存并提高性能。