EXL3
PulseAugur coverage of EXL3 — every cluster mentioning EXL3 across labs, papers, and developer communities, ranked by signal.
- 2026-06-20 product_launch A new method enables the conversion and inference of EXL3 quantized large language models on Apple Silicon Macs. 来源
5 天有情绪数据
-
DeepSeek V4.1 Flash 在消费级 GPU 上以 42 tok/s 和 256K 上下文进行基准测试
一位用户详细介绍了在个人 Linux 机器上本地运行 DeepSeek V4.1 Flash 模型的基准测试结果。该设置在启用了视觉输入的情况下,利用三块 GPU 实现了每秒 42 个 token 的生成速度和 256K 的上下文窗口。用户强调,这些结果来自自定义量化构建和修补的引擎,因此不能直接与 llama.cpp 或 Ollama 等工具的默认配置进行比较。其性能归因于模型组件在 GPU、系统 RAM 和 Optane SSD …
-
DeepSeek V4.1 Flash 1017 EXL3 2.9bpw 在 APEX 2025 上进行基准测试
一位用户对 DeepSeek V4.1 Flash 1017 EXL3 2.9bpw 模型进行了基准测试,发现其性能与六个月前的最先进模型相当。使用 APEX 2025 数据集作为基准,用户在配备六个 3090 GPU 的系统上实现了约 1000 tokens/秒的预填充速度和 75 tokens/秒的解码速度。用户分享这些结果是为了帮助他人对自己的设置进行基准测试。
-
DeepSeek-V4.1-Flash-1017 获得 Delta Inference Engine 重大更新
Delta Inference Engine 已更新至 0.93 版本,为 DeepSeek-V4.1-Flash-1017 模型带来了显著改进。此次更新提高了在单个 RTX 3090 显卡上的性能,提供了更快的首个 token 生成速度和在较低 RAM 要求下更好的质量。现在支持以全速运行新的 Unsloth 量化,该引擎还包括基础多 GPU 功能和公开的持续集成系统。
-
新的 Gyro 量化方法分裂社区,与 EXL3 相比缺乏明显优势
一种名为 Gyro 的新量化方法已经出现,与 EXL3 量化技术相似。虽然两者都利用了 QTIP 和 Hadamard 旋转等类似底层技术,但 Gyro 使用的格子状态大小略小,并将权重编码为 128 权重块,而 EXL3 使用 256 权重块。然而,Gyro 与 EXL3 不直接兼容,并且其创建过程目前是闭源的,这导致社区分裂,而没有明显的性能优势。
-
r/LocalLLaMA 社区讨论 EXL3 2.9bpw 模型低 KL 散度问题
Reddit 的 r/LocalLLaMA 论坛上的一场讨论,探讨了 EXL3 2.9bpw 模型的技术优势,特别是其较低的 Kullback–Leibler 散度。用户们正在质疑这一特性是否使其优于 PTQ NVFP4 量化方法。对话还涉及 EXL3 模型可能被忽视的潜在缺点或局限性。
-
GLM-5.3-Flash (321B) 通过 Project Maya 在单块 RTX 5090 上本地运行
一份技术指南详细介绍了如何使用单块 RTX 5090 GPU 和 128 GB RAM 在本地运行大型 GLM-5.3-Flash (321B) 语言模型。该过程涉及使用 Project Maya,这是 Strata runtime 的一个分支,它可以在 GPU、系统 RAM 和 NVMe 存储之间智能地管理模型组件。这种方法允许执行模型的 125 GB EXL3 量化版本,在 512K token 上下文窗口下实现大约每秒 25 个…
-
veloGB10引擎提升Qwen3.8-Flash-Next在DGX Spark上的性能
新的Rust/CUDA引擎veloGB10已在DGX Spark硬件上与Qwen3.8-Flash-Next进行了测试。该引擎原生加载EXL3权重并使用MTP-Heads进行投机解码。初步性能指标显示,与Ascent GX10上的先前堆栈相比,解码数字有了显著提高。
-
GLM-5.3-Flash 在双 CMP 170HX GPU 上实现 384K 上下文
一位用户成功配置并基准测试了 GLM-5.3-Flash 模型,该模型运行在配备两块 64GB CMP 170HX 显卡的双 GPU 设置上。该设置使用了 ExLlamaV3 推理引擎,实现了 384K 令牌的上下文窗口,推理速度约为每秒 90 个令牌。用户还在相同的硬件上对 Qwen3.8-Flash-Next 设置进行了对比分析,评估了原始推理速度以及在编码和代理任务上的性能。
-
GLM-5.3-Flash EXL3 4bpw TensorFold Ablit 模型发布,移除了安全拒绝
GLM-5.3-Flash 模型的新变体,特别是 EXL3 4bpw TensorFold Ablit 版本,已在 Hugging Face 上发布。该模型已移除其安全拒绝功能,使其适用于研究和无过滤任务,但用户有责任实施自己的安全措施。修改涉及用 Keys 张量替换特定的自注意力层,drowzeys、dealignai 和 jordanschenck 贡献了此项,该模型基于 Z.AI 的原始 GLM-5.3-Flash 模型构建,并…
-
Qwen3.8 Flash Next 模型针对多样化硬件上的本地推理进行了优化
Qwen3.8 Flash Next 模型正在针对各种硬件配置上的本地推理进行优化。一位用户在使用 NInfer 的一个分支的 RTX 6000 上实现了 400 tokens/秒的性能,另一位用户通过实现流式和并行读取,展示了在带有 SSD 的 Mac Mini 上运行该模型。另一份指南详细介绍了如何在具有大量 CPU RAM 卸载的消费级 RTX 5090 上运行 125B 参数模型,还有一位用户通过采用量化和统一内存调度方法,在…
-
新引擎支持在单台迷你PC上运行两款300B MoE模型
一款名为Kyojin的新引擎,基于ExLlamaV3并针对AMD的Strix Halo硬件进行了优化,已被开发用于运行大型混合专家(MoE)模型。该引擎允许两款300B级别的MoE模型,GLM-5.3-Flash和MiMo-V2.6-Flash,分别装入单台128GB的机器中。性能基准测试显示,GLM-5.3-Flash的预填充速度约为580 token/s,MiMo-V2.6-Flash的解码速度高达44 token/s,且与官方F…
-
ExLlamaSharp 更新增强了 Windows 用户的本地 LLM 服务器
Kortexio 发布了其 ExLlamaSharp 本地 LLM 服务器的更新,版本 v1.3.2.1、v1.3.2 和 v1.3.1 详细介绍了各种改进和修复。这些更新增强了服务器与 Microsoft Windows 上 NVIDIA GPU 的兼容性,提供了兼容 OpenAI 的 API 和 Blazor 管理界面。主要变化包括改进了工作程序加固、更好地处理网络访问、更清晰的 OpenAI 超时错误消息,以及针对安装对话框和聊…
-
EXL3 量化模型在消费级硬件上提供高性能
EXL3 模型,特别是其量化版本,因其在消费级硬件上的性能和效率而备受关注。用户报告称,与大型模型相比,EXL3 量化模型在速度上具有显著优势,且质量损失极小,使其适用于在显存受限的笔记本电脑上运行大上下文窗口或编码应用程序等要求严苛的任务。这种效率使得在长上下文长度下,Muse Glimmer 30B EXL3-SC 等模型也能提供流畅的用户体验。
-
ExLlamaSharp v1.2.1-beta 添加了 OpenAI 兼容 API 和 EXL3 推理
Kortexio 发布了 ExLlamaSharp v1.2.1-beta,这是一个支持 NVIDIA GPU 的 Windows 本地 LLM 服务器。此 beta 版本引入了 OpenAI 兼容的 API 端点、Blazor 管理界面以及增强的 EXL3 推理功能。主要更新包括 LoRA 适配器的实时 CRUD 操作、多 GPU 支持和 ONNX 嵌入,但建议在生产环境中使用稳定的 v1.1.1 安装。
-
EXL3模型在r/LocalLLaMA社区中失去吸引力,尽管性能优越
EXL3模型,作为运行大型语言模型的llama.cpp的替代方案,似乎在r/LocalLLaMA社区中失去了吸引力。虽然EXL3在每秒令牌数和独特的压缩技术方面表现强劲,但其主要的部署方式TabbyAPI需要至少24GB显存的GPU,限制了硬件配置较低用户的可访问性。尽管有技术优势,但该模型被认为缺乏广泛关注,引发了对其持续开发的担忧,尽管最近的更新表明支持RAM溢出,可能扩大其吸引力。
-
EXL3 LLM 量化模型现已可在 Apple Silicon Mac 上转换
一种新方法允许在 Apple Silicon Mac 上转换和推理 EXL3 量化大语言模型。此前,这些高保真模型主要限于支持 CUDA 的 GPU,需要专门且昂贵的硬件。这一进展使得拥有消费级 Apple 硬件的用户能够更方便地使用先进的 LLM,其性能可与在高阶 GPU 上转换的模型相媲美。