Qwen3.6 35B-A3B
PulseAugur coverage of Qwen3.6 35B-A3B — every cluster mentioning Qwen3.6 35B-A3B across labs, papers, and developer communities, ranked by signal.
13 天有情绪数据
-
开放权重的大语言模型（LLM）可免费访问但运行成本高昂，给开发者带来挑战
文章认为，虽然开放权重的LLM在技术上可以免费访问，但其巨大的规模常常使其在标准硬件上运行成本过高且难以实现。Qwen、DeepSeek、GLM、Kimi和MiniMax等模型被列为这一趋势的例子，参数数量达到数百亿甚至数万亿。作者认为，焦点应从原始参数数量和开放权重转移到实际部署成本和效率上，将效率定义为能力与运营成本的最佳比率。对开发者而言，这意味着在本地推理时优先选择更小、更易于管理模型，并在为产品选择模型时，将活跃参数和实际延…
-
开发者发现自托管 LLM 的问题是配置问题，而非模型缺陷
一位开发者发现，他们自托管的编码模型 Ornith-1.0-35B 表现不佳是由于服务配置不正确，而非模型本身的缺陷。通过分析 LiteLLM 的支出日志，他们发现请求发送时使用了最大的随机参数（temperature 和 top_p 均为 1.0），并且模型的推理能力被禁用。此外，对具有极长上下文的 KV 缓存使用 fp8 精度会导致性能下降。通过调整服务配置，包括 temperature 和启用思考（thinking），并将 KV…
-
LLM 上下文基准测试：预填充速度和 KV 缓存对代理最重要
对 13 种不同的大型语言模型在 65K 至 128K 令牌的上下文长度下进行的基准测试显示，对于代理工作负载而言，提示处理（预填充）速度是最关键的因素，而不是令牌生成速度。使用 llama.cpp 在 RX 7900 XT GPU 上进行的测试表明，KV 缓存配置和模型架构（特别是 MoE 模型）显著影响了性能。结果表明，优化预填充效率是需要广泛上下文处理的应用程序的关键。
-
本地大模型实现新能力，可与云端模型相媲美
本地大语言模型（LLM）的格局已发生巨大变化，使得强大的模型可以在消费级硬件上运行。此前，在本地运行能力强的模型速度太慢且不准确，迫使用户依赖在线推理服务商。然而，新的Qwen模型，如Qwen3.6-27B和Qwen-Coder-Next-80B，现在即使在拥有16GB显存的系统上，也能提供与Claude 4.5 Opus等领先的云端模型相媲美的性能和准确性。llama.cpp的实验性路由模式等工具的进步，通过实现动态模型切换和上下文…
-
SWE-rebench 排行榜新增 Claude Opus 4.8、GLM-5.2、Gemini 3.5 Flash
SWE-rebench 排行榜已更新，新增了模型并改进了用户界面，使得在编码任务上比较 AI 性能更加容易。值得注意的新增模型包括 Claude Opus 4.8 xhigh、GLM-5.2 和 Gemini 3.5 Flash，以及多个 Qwen 和 DeepSeek 模型。此次更新还突出了本地和自托管模型的测试结果，鼓励社区就接下来要测试哪些模型提供意见。
-
llama.cpp 标志将 RTX 4070 上 Qwen 35B 模型速度提升 2.8 倍
一份技术指南演示了如何在 RTX 4070 GPU（12GB VRAM）上运行 Qwen3.5-35B-A3B 模型时实现 2.8 倍的速度提升。实现这一性能提升的关键在于使用 `llama.cpp` 框架并设置特定标志：`-ngl 99` 将所有模型层卸载到 GPU，而 `--cpu-moe` 则将专家混合（MoE）层保留在 CPU 上。这种策略对于 MoE 模型尤其有效，因为每个 token 仅激活一小部分专家，当 VRAM 有限…
-
Alibaba 的 Qwen3.6-35B-A3B 模型在 24GB GPU 上提供高效的 35B 知识
Alibaba 的 Qwen 团队发布的 Qwen3.6-35B-A3B 模型采用了稀疏专家混合（MoE）架构，使其能够以 3B 参数模型的效率运行，同时保留 35B 参数模型的知识。这种设计显著降低了显存需求，使其有可能通过量化在单个 24GB GPU 上运行，尽管由于 KV 缓存增长，长上下文长度仍然可能对内存造成压力。该模型根据 Apache 2.0 许可发布，可用于不受限制的商业用途，并可以使用 Ollama 进行本地设置，提…
-
Qwen3.6-35B-A3B 模型针对单张 RTX 3090 GPU 进行优化
一位 Reddit 用户分享了他们在单张 RTX 3090 GPU 上优化 Qwen3.6-35B-A3B 模型的流程。他们的目标是在 128k 上下文窗口下实现最高质量和速度。基准测试表明，使用 `ik_llama` 引擎和 `I-Compact` APEX 模型可提供最快的生成速度，而使用 `spiritbuun` 引擎、`I-Quality` 和 TurboQuant 缓存则能提供相当的速度，且质量可能更高。`I-Quality…
-
新的 KV 缓存压缩技术提升大语言模型推理性能 · 跟踪 9 个来源
多篇研究论文探讨了优化大语言模型（LLM）服务中的键值（KV）缓存的新技术，以解决内存和性能瓶颈。这些方法包括量化、剪枝、合并和频率引导压缩，旨在减少内存使用并提高长上下文工作负载的推理速度。研究评估了这些技术在各种基准测试和模型上的表现，强调了压缩率、任务质量和系统性能之间的权衡，并建议根据工作负载选择压缩策略。
-
96GB 显存的本地 LLM 推理在成本上未能胜过付费 API
一位用户详细介绍了他们花费两周时间优化本地 LLM 设置（在四块 RTX 3090 GPU 上拥有 96GB 显存）的努力，目的是取代付费云 API。尽管实现了大约每秒 105 个 token 的速度，并实现了诸如增加批处理大小和 KV 缓存量化等优化，但系统的 CPU 协调瓶颈导致 GPU 利用率仅为 6%。最终，高功耗和硬件折旧使得本地设置在经济上不如付费 API 适合交互式工作，尽管它仍然适用于注重隐私或批量任务。
-
AI 模型定价发生重大变化；Z.ai 降低成本，新模型涌现
AI 定价正经历显著变化，其中 Z.ai 显著降低了其 GLM 5.2 的提示和完成价格，为高用量用户提供了大幅节省。MoonshotAI 和 Qwen 等其他提供商也调整了定价，部分价格有所小幅上涨或下跌。Poolside 和 IBM 的新模型正在进入市场，同时 Meta 和 Mistral 提供了经济高效的选项，扩大了可用 AI 服务的范围。
-
开源权重代码模型 Qwable-v1 在 Hugging Face 上发布
“lordx64/Qwable-v1”模型，一个开源权重的智能体代码模型，已在 Hugging Face 上发布。该模型是 Qwen3.6-35B-A3B 的蒸馏版本，融合了 Claude Opus 4.7 的推理轨迹和 Claude Fable-5 的智能体工具使用行为。它旨在执行链式蒸馏，通过 XML 格式的工具使用来实现显式的思维链和类似智能体的行为，用于文件编辑和 shell 命令等操作。
-
将 35B MoE 模型经济高效地部署到 SageMaker
本文详细介绍了将微调后的 35B Mixture-of-Experts (MoE) 模型部署到 Amazon SageMaker 的过程。文章重点介绍了经济高效部署的实用策略，特别是在单个 GPU 端点上使用 QLoRA 微调 QWEN3.6-35B-A3B 文本到 SQL 模型。
-
AI 编码技术“vibe coding”用户反馈不一
用户正在尝试一种名为“vibe coding”的新 AI 编码技术，该技术涉及向 AI 模型提供提示以生成代码。然而，早期结果表明成功率参半，一些用户发现 AI 的输出不令人满意，需要手动更正。一位用户报告称在本地设置上处理一个提示需要 12 分钟，而另一位用户对 AI 的代码生成能力表示失望，认为它更像是猜测而不是真正的 AI 辅助。
-
PereStruct 管道鲁棒地解析复杂的历史文档
研究人员开发了 PereStruct，一个用于解析复杂历史文档（尤其是报纸）的新管道，这类文档常常让当前的视觉语言模型感到困惑。该系统集成了用于布局分析的微调 YOLO 架构和一个使用 TF-IDF、视觉嵌入和几何约束来重建文章的语义组装模块。PereStruct 在块到文章映射上取得了 0.904 的最先进 F1 分数，并且在保真度方面显著优于 Qwen3.6 等通用视觉语言模型。
-
Qwen3.6-35B-A3B 基准测试显示量化结果好坏参半
一项对 Qwen3.6-35B-A3B 模型量化（特别是 ByteShape 和 Unsloth）的基准测试显示，两者之间没有明显的赢家。研究还发现，使用 q8_0 KV 缓存量化在没有明显缺点的情况下提供了性能优势，而 q4_0 则导致性能明显下降。在所有测试场景中，当处理长上下文时，性能显著下降，这表明在扩展对话中工具调用能力面临挑战。
-
Luce Spark 使 35B MoE 模型能在 16GB GPU 上运行
Luce Spark 是一个新开源系统，它使得大型 350 亿参数的专家混合（MoE）模型能在单个 16 GB GPU 上运行。它通过智能地仅将当前活跃的专家保留在 GPU 上，而其余专家则驻留在系统内存中并在需要时进行交换来实现这一点。这种方法避免了通常与卸载相关的性能损失，从而能够高效运行原本无法容纳的模型。
-
Pi AI 代理框架因不支持本地 LLM 而受到批评
一位 Reddit 用户认为，由 Mario Zechner 创建的 AI 代理框架 Pi，并未考虑到本地 LLM 用户。该用户提出，Pi 专注于 API 用户及其极简设计，包括简短的系统提示，可能不符合本地运行模型用户的需求。他们观察到，与其他的代理框架不同，较弱的模型在 Pi 的默认设置下运行困难，需要显式更改配置才能可靠运行。
-
用户发现 Qwen3.6 35B 模型可用于本地 AI 任务
一位用户分享了他们在笔记本电脑上本地运行 Qwen3.6 35B-A3B 模型的经验，发现它足以胜任个人任务和头脑风暴。这标志着他们的一次重大转变，提供了一个“第二大脑”，避免将私人信息发送到云端模型。尽管承认偶尔出现循环或“懒惰”等小问题，但他们强调使用 llama.cpp 在 32k 和 256k 上下文长度下都具有令人印象深刻的生成速度。
-
笔记本 GPU 以惊人的推测解码提升运行 Qwen3.6 模型
一位用户详细介绍了他们在配备 8GB RTX 4060 GPU 的笔记本电脑上运行 Qwen3.6-35B-A3B 模型的经验。他们发现禁用内存映射 (`--no-mmap`)、确保足够的 VRAM 空间以及关闭 CPU 密集型应用程序可以显著提高性能。令人惊讶的是，推测解码提供了 26% 的速度提升，这与其他基准测试结果相反，用户将其归因于该模型具有 CPU 卸载专家功能的混合架构。