Qwen3.6 35B
PulseAugur coverage of Qwen3.6 35B — every cluster mentioning Qwen3.6 35B across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
本地 LLM 参考文献生成准确性不佳,vtd 工具增加验证功能
vtd 的开发者(一个将音频和视频录音转换为结构化文档的开源 CLI 工具)实现了一项由 AI 驱动的参考文献验证功能。此新功能旨在识别和验证录音中提到的学术论文和书籍。然而,初步测试显示,本地 LLM(例如通过 Ollama 的 Qwen3.6 35B)经常出现幻觉式引用,只有一小部分能通过 Open Library 和 Crossref 等数据库的验证。该工具现在包含一个目录验证步骤,以确保在最终输出中包含参考文献之前的准确性。
-
LLM 代理实现大型语言模型量化自动化和优化
研究人员开发了 QDA,一个利用 LLM 代理自动优化大型语言模型训练后量化过程的新系统。这种闭环设计通过迭代构建和评估候选模型来优化量化方案,与手动方法相比,显著减少了所需时间和专业知识。QDA 在现有技术上实现了更高的准确性,特别是为 GLM-5.3-Flash 模型恢复了 98.3% 的 FP8 模型准确性,并将发布其库、评估器和工具。
-
Backboard.io 的新推理引擎超越 vLLM 和 SGLang
Backboard.io 开发了一种新的推理引擎,在吞吐量和延迟方面显著优于 vLLM 和 SGLang 等现有解决方案。在包括 GLM-5.3、Qwen3.6-35B 和 Qwen3.8-27B 在内的各种模型以及不同的 NVIDIA GPU 上,Backboard 的引擎在输出吞吐量方面提高了 4.94 倍,在首次响应时间(TTFT)中位数方面快了 10 倍。该引擎在特定于代理的测试中也表现出色,能够处理大型上下文窗口和多轮交互,…
-
llama.cpp 迎来硬件特定优化和性能提升
llama.cpp 项目近期进行了针对特定硬件和模型的优化,带来了性能提升。一位用户详细介绍了针对配备Qwen3.6 35B模型的Tesla P100 GPU进行优化的工作,通过“vibe coding”并借鉴其他项目的想法,取得了显著的提升。另一项实验在纯CPU环境下,使用Gemma 4-E2B模型,比较了两个llama.cpp版本,发现新版本在文本生成速度上有所提升,但提示词处理速度略有下降,总体而言有适度但可察觉的改善。
-
Qwen3.6 35B 模型在双 4060Ti GPU 上运行,性能超越基准测试
一位用户已成功在两块 NVIDIA 4060Ti 显卡上运行了 Qwen3.6 35B 模型,其性能超越了 'Abliterated' 基准测试。该配置展示了消费级硬件处理大型语言模型的能力,为本地 AI 部署提供了实际示例。
-
用户寻求关于 Apple Silicon 与 GPU 硬件用于本地 AI 模型的建议
一位 Reddit 用户正在寻求关于运行本地 AI 模型硬件的建议,正在权衡 Apple Silicon MacBook 和配备独立 GPU 的定制 PC 之间的选择。他们目前使用的 M2 Max MacBook Pro 配备 32GB 内存,即使尝试运行 Qwen3.6 35b 等模型时,在提示处理和 token 生成速度方面也遇到了缓慢的问题。该用户正在寻找能够以良好速度运行最强大模型以进行代理工作的硬件,预算约为 €1500-€3500。
-
本地LLM争论:小型智能模型 vs. 高效大型模型
本地大型语言模型(LLMs)的未来正在被讨论,重点是优化将导致更小、能力更强的模型,还是更高效的大型模型。一位用户分享了在CPU上运行模型的经验,指出像MiniCPM5 2B这样的小型模型尽管处理速度更快,但在准确性方面却表现不佳。相比之下,像Qwen3.6 35B这样的大型模型虽然速度较慢,但提供了显著更好的结果,这表明大型模型的效率可能是本地部署的关键。
-
用户讨论Qwen模型在agent编码中的最佳角色分配
一位Reddit用户正在寻求关于如何最好地利用两个Qwen模型(Qwen3.6 27B和Qwen3.6 35B)来执行agent编码任务的建议。他们正在两台独立的PC上并行运行这些模型,并希望了解考虑到规划、文档、代码编写和测试等功能,每个模型的最优角色分配。
-
DAMP新技术大幅降低LLM内存使用并提升速度
研究人员开发了一种名为DAMP(Decay-Aware Mixed-Precision Recurrent-State Quantization)的新型量化技术,以减少使用循环状态的大型语言模型的内存占用并提高其速度。传统模型将这些状态存储为FP32,消耗大量GPU内存并增加延迟。DAMP识别这些状态中的高风险通道,并以更高精度存储它们,同时将其余部分量化为INT8,在接近FP32的精度下,存储量减少了69.1%,循环状态更新速度提升…
-
自编排脚手架提升大型语言模型编码性能
一篇新研究论文探讨了用于改进大型语言模型(LLM)编码性能的管理器-工作者脚手架的有效性。研究发现,这种使用共享文件系统工作区的自编排技术,在各种模型上提供了真实但有条件的益处。虽然它显著提升了 Qwen3.8-27B 和 Kimi-K3 等一些模型的性能,但对于 Qwen3.6-35B 等其他模型,其影响微乎其微或为负面。研究表明,与仅仅使用更大的模型相比,这种脚手架可以更具成本效益地实现高准确性,其机制如上下文管理和问题分解有助于提升。
-
NInfer 分叉版在 CMP170HX 硬件上实现了 Qwen3.6-35B 性能翻倍
一位用户成功分叉了 NInfer 项目,使其能够在 CMP170HX 硬件上运行,并为 Qwen3.6-35B 模型实现了两倍的性能提升。此修改涉及调整 CUDA 内核和编译器标志,以适应 CMP170HX 的特定架构,这与它最初基于的 RTX 3090 不同。用户强调了本地 AI 社区其他开发者的贡献,并详细介绍了为实现这一性能提升所克服的技术挑战,包括内核启动大小错误和工作区大小调整。
-
新基准使用“马骑自行车”提示词测试大语言模型 · 跟踪到2个来源
发布了一个新的基准测试,旨在取代旧的、不太相关的测试。该基准测试使用一个包含“马骑自行车,背景有骆驼”的提示词来评估各种语言模型。尽管提示词有拼写错误,但仍被用来比较 Qwen3.8-27b、Sol 5.6 和 Qwen3.6-35B 等模型。
-
新词“vibeslop”描述有趣的、无用的AI项目
“vibeslop”一词出现在r/LocalLLaMA子版块,用来形容使用本地AI模型创建的、可随意展示但没有实际用途的一次性有趣项目。例如,一个纯CSS的3D引擎、一个滑板平台游戏和一个吃豆人克隆游戏,这些都由各种Qwen模型生成或受其启发。
-
Gemma4:31b在本地AI模型基准测试中领先,揭示测试设计缺陷 · 跟踪1个来源
对五个本地AI模型进行的自行测试显示,Gemma4:31b表现最佳,得分为160分中的145分,其次是Qwen3.8-27b,得分为139分。研究指出,一些模型得分较低,例如Muse-Glimmer-30b、Qwen3.6:35b和Qwen3-coder-30b,并非由于智力不足,而是提示词不匹配、响应不完整、占位符答案或在遵循泰语指令方面存在困难。创建者开发了一个新的“高级”基准来更好地区分高性能模型,因为标准基准已变得不那么有效。
-
NVIDIA 发布 Nemotron 3.5 Lightning 以实现高效的代理式 AI
NVIDIA 推出了 Nemotron 3.5 Lightning,这是一个拥有 300 亿参数的混合专家模型,专为高效的代理式 AI 工作负载而设计。与同等规模的模型相比,该模型提供了高达 4 倍的输出速度和 30% 的任务完成速度提升,并拥有 100 万个 token 的上下文窗口。随同该模型一起发布的还有 NeMo Switchyard,这是一个用于代理工具内智能路由的开源库,能够将请求定向到最合适的模型。Nemotron 3.…
-
llama.cpp PR 提升 Intel GPU 和 x86 CPU 性能
llama.cpp 项目的一个拉取请求(PR)为量化 KV 缓存解码带来了显著的性能提升。一项更改针对 Intel Battlemage GPU,通过 SYCL 内核切换,在长上下文长度下实现了高达 169% 的解码速度提升。另一项优化侧重于 x86 CPU,为 Q2_0 量化实现了一个 VNNI 路径,解码性能提升了 3-3.6 倍。尽管这些改进在基准测试中显示出有希望的结果,但它们目前仍处于开放的拉取请求状态,需要在各种硬件配置上…
-
llama.cpp PR 将采样移至 GPU 以提升推理速度
llama.cpp 的一项新合并请求旨在通过将采样操作从 CPU 移至 GPU 来提高推理速度。此更改使 Qwen3.6:35b 模型在 RTX 5090 上的每秒 token 数提高了约 8%,在 Tesla P40 上提高了 4%。性能提升归因于减少了 CPU-GPU 数据传输的开销,这在内存带宽更高的中高端 GPU 上更为明显。
-
用户使用 Qwen 微调 Mistral AI 模型以进行电子邮件分类
一位用户使用 Mistral AI 的模型和 n8n 进行自动化创建了一个电子邮件分类器。该系统由于 Mistral 的错误而由用户进行了微调,它利用 Qwen3.6-35B 将电子邮件分类到存档、垃圾邮件或广告邮件文件夹。它包括一个在最终分类前对可疑电子邮件进行网络搜索的功能,整个过程大约需要 10 分钟。
-
用户寻求硬件建议以加速 Qwen3.6 35B 模型推理
一位Reddit用户正在寻求硬件配置建议,以期在使用Qwen3.6 35B模型时获得高推理速度。他们目前在AMD RX6600XT和Ryzen 7 5700X的配置下,预填充速度约为270-300 token/秒,解码速度约为30 token/秒。用户指出,现有的在线基准测试对其硬件而言并不准确,因此正在寻求已实现更快性能的其他用户的建议,目标是达到1000+ token/秒的预填充和100+ token/秒的解码速度。
-
Qwen3.6 35B KV 缓存量化权衡的讨论
在 r/LocalLLaMA 子论坛上的一场讨论,探讨了对 Qwen3.6 35B 模型进行 KV 缓存量化的权衡。用户正在争论是否将量化级别降低到 Q8 以下是有益的,同时考虑了对性能和内存占用的显著影响。