iq3_s
PulseAugur coverage of iq3_s — every cluster mentioning iq3_s across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
llama.cpp 更新优化了 NVIDIA GPU 量化矩阵运算性能
llama.cpp 项目发布了更新 (b12342),为 NVIDIA GPU 上的量化矩阵乘法引入了新的 int8 MMA 内核。此优化针对 Ampere 及更新的特定 NVIDIA 架构,并支持 Q8_0、Q3_K 和 IQ4_XS 等多种量化格式。此次更新旨在提高投机解码验证等操作的性能。
-
发布了用于逆向工程的新 Swift 1.5 Flash Next Heretic quants
一位开发者发布了 Swift 1.5 Flash Next Heretic 模型的新量化版本,专门针对逆向工程任务进行了优化。这些新格式包括 IQ4_XS,它在性能和大小之间取得了平衡,开销为 1GB;以及 IQ3_S,这是一种更激进的量化方法,旨在以牺牲部分通用知识为代价来保留逆向工程和推理能力。
-
Qwen 3.8 模型在不同硬件配置下的性能探索 · 追踪 4 个来源
用户正在分享他们在不同硬件配置和软件优化下运行 Qwen 3.8 模型的经验。一位用户将他们的 RAM 升级到 64GB,使其能够在单块 RTX 4090 上以 262K 上下文窗口运行 Qwen3.8-Flash-Next 的 4 位量化版本,速度达到 87-98 tokens/sec。另一位用户为 llama.cpp 适配了自适应 KV 流和 ROCm 优化,以便在 16GB RX 9070 XT GPU 上以完整的 262K 上…
-
Qwen LLM 针对 RTX 3090 优化,速度提升 80%
一位开发者已将 Qwen3.8-27B 大型语言模型优化用于 RTX 3090 GPU,实现了从约 33 tokens/s 到 60 tokens/s 的生成速度提升。此优化涉及尝试各种量化方法,开发者倾向于 IQ3_S 量化权重和 8 位 KV 缓存,以平衡速度和质量。调优过程还揭示了评估套件中的一个缺陷测试用例,并强调了生成速度与整体任务完成时间之间的差异。
-
Qwen 3.8 Flash Next 模型在各种本地设置下的性能讨论 · 已追踪6个来源
Reddit的r/LocalLLaMA子版块的用户正在讨论他们在各种硬件配置和软件优化下运行Qwen 3.8 Flash Next模型的经验。讨论内容涵盖使用YaRN等技术实现13万甚至100万token的高上下文长度,以及优化token生成速度。用户正在尝试不同的量化方法(例如,IQ2_XS、IQ3_S、OQ4E)和推理引擎(例如,oMLX、Strata、Infernix),以在消费级GPU和有限内存上最大化性能。
-
Nvidia发布量化版Qwen3.8-Flash-Next模型以支持本地AI部署
Nvidia发布了阿里巴巴Qwen3.8-Flash-Next模型的量化96 GiB版本,该模型已针对本地AI硬件和商业用途进行了优化。这款名为nvidia/Qwen3.8-Flash-Next-FP4-Local的FP4 QAD(量化感知蒸馏)模型,使用了Nvidia的模型优化器,并提供了高达100万token的上下文长度。虽然在GPQA Diamond基准测试中,其准确性相比之前的BF16版本略有下降0.7个点,但它专为AI代理系…
-
Intel 混合 CPU 用户可通过 Strata 校准将 LLM 解码速度提高三倍
Reddit 用户在 r/LocalLLaMA 子版块分享了一个“PSA”(公告),建议使用 Intel 混合 CPU 的用户运行 Strata 的校准工具。据称,此校准将其本地 LLM 解码速度提高了近三倍,性能从每秒 17.2 个 token 提升到超过 53 个 token/秒。用户详细说明了具体的配置更改,包括调整工作池、推测解码设置和 PCIe 分数,这些都促成了显著的速度提升。
-
llama.cpp 引擎解决了 IQ3_S 模型中的谄媚和循环问题
Reddit r/LocalLLaMA 子版块的一名用户报告了一个特定开源模型 IQ3_S 的问题,该模型在生成过程中表现出谄媚行为并进入“末日循环”。用户发现通过 llama.cpp 引擎使用该模型时,它能产生连贯的答案,而没有出现问题性的循环行为。这表明推理引擎或其配置可能在模型性能和输出质量方面起着重要作用。
-
Qwen3.8-Flash-Next 在本地硬件上实现 200 tok/s 解码速度
一位 Reddit 用户报告了 Qwen3.8-Flash-Next 模型在功耗受限的配置下取得了令人印象深刻的性能指标。使用 Strata 软件,在配备 96GB DDR5 内存的 5090 GPU 上,系统实现了 150-200 tokens/秒 的解码速度和 5-6k tokens 的预填速度。该配置还支持 128k tokens 的上下文窗口,量化级别为 IQ3_S。