TabbyAPI
PulseAugur coverage of TabbyAPI — every cluster mentioning TabbyAPI across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
十个本地LLM推理引擎在100GB内存、双GPU设备上的评估
一篇博文评估了十个本地推理引擎在拥有约100GB内存和两块16GB显卡的机器上的适用性。作者详细介绍了这些引擎的 lineage,指出其中一些源自 llama.cpp,而 vLLM 和 Sonar 等则提供了不同的架构方法。评估考虑了许可、内存管理和性能等因素,并将可用的基准数据与指定的硬件限制进行了比较。
-
ExLlamaV3 和 TabbyAPI 支持在消费级硬件上本地部署 LLM
ExLlamaV3 和 TabbyAPI 已发布,为在消费级硬件上本地运行大型语言模型提供了新功能。ExLlamaV3 引入了一种名为 EXL3 的优化量化方法,该方法基于 QTIP,允许 CPU 卸载以管理具有有限 GPU 资源的模型。TabbyAPI 作为 ExLlamaV3 的官方 API 服务器,提供工具/函数调用和连续批处理等功能,但它被标记为一个业余项目。
-
四款大型本地 LLM 在 RTX 5090 和 128GB 内存上进行基准测试
一项技术基准测试比较了四款在单台 RTX 5090 GPU 和 128 GB 内存上运行的大型本地语言模型 (LLM)。测试的模型包括 DeepSeek-V4.1-Flash (748B 参数)、GLM-5.3-Flash (321B 参数)、Qwen3.8 Flash-Next 和 Ornithogalum,使用了 Project Maya、Strata 和 ExLlamaV3 等不同的运行时。基准测试测量了在长达 125K 标记的…
-
GLM-5.3-Flash (321B) 通过 Project Maya 在单块 RTX 5090 上本地运行
一份技术指南详细介绍了如何使用单块 RTX 5090 GPU 和 128 GB RAM 在本地运行大型 GLM-5.3-Flash (321B) 语言模型。该过程涉及使用 Project Maya,这是 Strata runtime 的一个分支,它可以在 GPU、系统 RAM 和 NVMe 存储之间智能地管理模型组件。这种方法允许执行模型的 125 GB EXL3 量化版本,在 512K token 上下文窗口下实现大约每秒 25 个…
-
Qwen3.8 Flash Next 模型针对多样化硬件上的本地推理进行了优化
Qwen3.8 Flash Next 模型正在针对各种硬件配置上的本地推理进行优化。一位用户在使用 NInfer 的一个分支的 RTX 6000 上实现了 400 tokens/秒的性能,另一位用户通过实现流式和并行读取,展示了在带有 SSD 的 Mac Mini 上运行该模型。另一份指南详细介绍了如何在具有大量 CPU RAM 卸载的消费级 RTX 5090 上运行 125B 参数模型,还有一位用户通过采用量化和统一内存调度方法,在…
-
GLM-5.3-UNCENSORED EXL3 3.0bpw 模型发布,采用 ExLlamaV3 量化
GLM-5.3 模型的一个量化版本,名为 GLM-5.3-UNCENSORED EXL3 3.0bpw,已在 Hugging Face 上发布。该模型基于 dealignai/GLM-5.3-UNCENSORED-FP8,而后者是 zai-org/GLM-5.3 的权重编辑变体。新版本采用了 ExLlamaV3 量化技术,拥有一个 753B 参数架构和 256 个路由专家。初步评估表明,与原始 FP8 源相比,性能下降极小,但已注意到…
-
ExLlamaV3 因在本地 LLM 部署中的卓越性能而受到赞誉
一位 Reddit 用户正在推广 ExLlamaV3,他们认为这款软件在本地运行大型语言模型方面被低估了。他们强调,与 llama.cpp 相比,ExLlamaV3 具有更优越的量化质量、更低的 KLD 指标和更快的性能,特别是对于拥有 NVIDIA GPU 的用户。该用户还提到了最近的更新,包括 CPU MoE 卸载,并分享了他们通过 tabbyAPI 使用 ExLlamaV3 和 Qwen 模型进行实验的积极体验。
-
EXL3模型在r/LocalLLaMA社区中失去吸引力,尽管性能优越
EXL3模型,作为运行大型语言模型的llama.cpp的替代方案,似乎在r/LocalLLaMA社区中失去了吸引力。虽然EXL3在每秒令牌数和独特的压缩技术方面表现强劲,但其主要的部署方式TabbyAPI需要至少24GB显存的GPU,限制了硬件配置较低用户的可访问性。尽管有技术优势,但该模型被认为缺乏广泛关注,引发了对其持续开发的担忧,尽管最近的更新表明支持RAM溢出,可能扩大其吸引力。