turboderp
PulseAugur coverage of turboderp — every cluster mentioning turboderp across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
763B MoE 模型通过专家卸载在双 96GB GPU 上运行
一份技术指南详细介绍了如何在消费级硬件上运行 7630 亿参数的 DeepSeek-V4.1-Flash 模型，具体来说是两块拥有 96GB 显存的 Nvidia RTX PRO 6000 Blackwell GPU。该解决方案涉及将混合专家（MoE）架构的闲置“专家”卸载到服务器的主机 RAM 中，这项技术成功地将每 GPU 的显存需求从 100GB 以上降低到 73GB 以下。通过 ExLlamaV3 和 vLLM 的自定义堆栈实…
-
GLM-5.3-Flash EXL3 4bpw TensorFold Ablit 模型发布，移除了安全拒绝
GLM-5.3-Flash 模型的新变体，特别是 EXL3 4bpw TensorFold Ablit 版本，已在 Hugging Face 上发布。该模型已移除其安全拒绝功能，使其适用于研究和无过滤任务，但用户有责任实施自己的安全措施。修改涉及用 Keys 张量替换特定的自注意力层，drowzeys、dealignai 和 jordanschenck 贡献了此项，该模型基于 Z.AI 的原始 GLM-5.3-Flash 模型构建，并…
-
Qwen3.8 Flash Next 模型针对多样化硬件上的本地推理进行了优化
Qwen3.8 Flash Next 模型正在针对各种硬件配置上的本地推理进行优化。一位用户在使用 NInfer 的一个分支的 RTX 6000 上实现了 400 tokens/秒的性能，另一位用户通过实现流式和并行读取，展示了在带有 SSD 的 Mac Mini 上运行该模型。另一份指南详细介绍了如何在具有大量 CPU RAM 卸载的消费级 RTX 5090 上运行 125B 参数模型，还有一位用户通过采用量化和统一内存调度方法，在…