ExLlamaV3
PulseAugur coverage of ExLlamaV3 — every cluster mentioning ExLlamaV3 across labs, papers, and developer communities, ranked by signal.
- 2026-07-15 product_launch ExLlamaV3 has released version 1.0.0, introducing significant performance upgrades and new features. 来源
5 天有情绪数据
-
GLM-5.3-Flash (321B) 通过 Project Maya 在单块 RTX 5090 上本地运行
一份技术指南详细介绍了如何使用单块 RTX 5090 GPU 和 128 GB RAM 在本地运行大型 GLM-5.3-Flash (321B) 语言模型。该过程涉及使用 Project Maya，这是 Strata runtime 的一个分支，它可以在 GPU、系统 RAM 和 NVMe 存储之间智能地管理模型组件。这种方法允许执行模型的 125 GB EXL3 量化版本，在 512K token 上下文窗口下实现大约每秒 25 个…
-
763B MoE 模型通过专家卸载在双 96GB GPU 上运行
一份技术指南详细介绍了如何在消费级硬件上运行 7630 亿参数的 DeepSeek-V4.1-Flash 模型，具体来说是两块拥有 96GB 显存的 Nvidia RTX PRO 6000 Blackwell GPU。该解决方案涉及将混合专家（MoE）架构的闲置“专家”卸载到服务器的主机 RAM 中，这项技术成功地将每 GPU 的显存需求从 100GB 以上降低到 73GB 以下。通过 ExLlamaV3 和 vLLM 的自定义堆栈实…
-
Gemma E4B 针对 Jetson Orin Nano 进行了优化，配备了新的 EXL3 引擎
一个名为 little-gemma V1.0 的新引擎已为 NVIDIA Jetson Orin Nano 开发，在 Gemma E4B 模型上提供了比 llama.cpp 更好的性能。开发者分叉了 exllamav3 并将 little-gemma V1.0 的代码移植过来创建了 EXL3，它在略微降低解码速度的情况下提高了预填充速率。对于需要在 Jetson Orin Nano 上获得卓越预填充性能的用户来说，这个优化版本尤其有益。
-
GLM-5.3-Flash 在双 CMP 170HX GPU 上实现 384K 上下文
一位用户成功配置并基准测试了 GLM-5.3-Flash 模型，该模型运行在配备两块 64GB CMP 170HX 显卡的双 GPU 设置上。该设置使用了 ExLlamaV3 推理引擎，实现了 384K 令牌的上下文窗口，推理速度约为每秒 90 个令牌。用户还在相同的硬件上对 Qwen3.8-Flash-Next 设置进行了对比分析，评估了原始推理速度以及在编码和代理任务上的性能。
-
Qwen3.8 Flash Next 模型针对多样化硬件上的本地推理进行了优化
Qwen3.8 Flash Next 模型正在针对各种硬件配置上的本地推理进行优化。一位用户在使用 NInfer 的一个分支的 RTX 6000 上实现了 400 tokens/秒的性能，另一位用户通过实现流式和并行读取，展示了在带有 SSD 的 Mac Mini 上运行该模型。另一份指南详细介绍了如何在具有大量 CPU RAM 卸载的消费级 RTX 5090 上运行 125B 参数模型，还有一位用户通过采用量化和统一内存调度方法，在…
-
GLM-5.3-UNCENSORED EXL3 3.0bpw 模型发布，采用 ExLlamaV3 量化
GLM-5.3 模型的一个量化版本，名为 GLM-5.3-UNCENSORED EXL3 3.0bpw，已在 Hugging Face 上发布。该模型基于 dealignai/GLM-5.3-UNCENSORED-FP8，而后者是 zai-org/GLM-5.3 的权重编辑变体。新版本采用了 ExLlamaV3 量化技术，拥有一个 753B 参数架构和 256 个路由专家。初步评估表明，与原始 FP8 源相比，性能下降极小，但已注意到…
-
ExLlamaSharp 更新增强了 Windows 用户的本地 LLM 服务器
Kortexio 发布了其 ExLlamaSharp 本地 LLM 服务器的更新，版本 v1.3.2.1、v1.3.2 和 v1.3.1 详细介绍了各种改进和修复。这些更新增强了服务器与 Microsoft Windows 上 NVIDIA GPU 的兼容性，提供了兼容 OpenAI 的 API 和 Blazor 管理界面。主要变化包括改进了工作程序加固、更好地处理网络访问、更清晰的 OpenAI 超时错误消息，以及针对安装对话框和聊…
-
ExLlamaV3 因在本地 LLM 部署中的卓越性能而受到赞誉
一位 Reddit 用户正在推广 ExLlamaV3，他们认为这款软件在本地运行大型语言模型方面被低估了。他们强调，与 llama.cpp 相比，ExLlamaV3 具有更优越的量化质量、更低的 KLD 指标和更快的性能，特别是对于拥有 NVIDIA GPU 的用户。该用户还提到了最近的更新，包括 CPU MoE 卸载，并分享了他们通过 tabbyAPI 使用 ExLlamaV3 和 Qwen 模型进行实验的积极体验。
-
ExLlamaV3 在 Qwen 模型上显示出比 llama.cpp 显著的速度提升
Reddit 的 r/LocalLLaMA 社区的一位用户分享了他们使用 ExLlamaV3 的经验，报告称在运行 Qwen-3.8-Flash-Next 模型时，其性能比 llama.cpp 有显著提升。用户观察到预填充速度提高了 3.2 倍，解码速度提高了 2 倍，并且输出质量更好。然而，他们指出这种性能优势是模型依赖的，因为在他们的设置上，ExLlamaV3 在另一个模型 GLM 5.3 Flash 上运行速度比 llama.cpp 慢。
-
ExLlamaV3 因其出色的速度和性能而受到赞扬
一位 Reddit 用户分享了他们对新测试模型 ExLlamaV3 的积极体验。他们报告称，在 8x3090 配置上运行 GLM 5.3 Flash 时，预填充速度达到惊人的 700 tokens/秒，解码速度达到 42 tokens/秒。该用户还指出，该模型在处理超过 3000 万个 token 时表现良好，并对 ExLlamaV3 等社区驱动的项目表示感谢。
-
ExLlamaV3 v1.0.0 发布，带来重大性能升级
ExLlamaV3 项目发布了 1.0.0 版本，标志着经过一年多的开发后取得了重大的性能升级。此次发布引入了具有先进量化和缓存的新注意力内核，改进了 Ampere 硬件上的 GEMM/GEMV 性能，并为 INT8 和 MoE 操作提供了新的内核。ExLlamaV3 现在还支持更广泛模型的张量并行，包括 Gemma4，并且移除了对 flash-attention-2 和 xformers 的依赖。
-
ExLlamaV3、Unsloth Qwen 和 Phi3 代理迎来重大本地 AI 更新
本周的本地 AI 新闻重点介绍了 ExLlamaV3 推理库的重大更新，提高了在消费级 GPU 上运行量化 Llama 模型时的效率。此外，通过 Unsloth 提供了 Qwen 3.6 模型的新 GGUF 量化版本，使其更容易在本地使用。该集群还展示了一个创新项目，该项目使用 Phi3 模型创建一个能够控制用户主计算机的自主代理。