实体
qwen3.8-27b-nvfp4
qwen3.8-27b-nvfp4
PulseAugur coverage of qwen3.8-27b-nvfp4 — every cluster mentioning qwen3.8-27b-nvfp4 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
Unsloth 发布 Beta 版,支持命令面板和更快的 Laya 决策
Unsloth 发布了 0.1.902-beta 版本,引入了可通过 Cmd/Ctrl+P 访问的命令面板,并增强了桌面 UI/UX,以实现更快的导航和更清晰的错误消息。此更新将 Laya 决策模型的速度提高了 4.1 倍,并通过保持 INT4 和 MXFP4 检查点打包来提高 LoRA 训练期间的内存效率。此外,该版本还扩展了对托管决策 API 提供商的支持,并为图像和视频模型处理引入了新功能。
-
Qwen3.8-27B-NVFP4 模型在用户设置中实现了 1M 上下文窗口
Reddit 的 r/LocalLLaMA 社区的一位用户分享了他们使用 100 万 token 上下文窗口设置 Qwen3.8-27B-NVFP4 模型的经验。这位自称初学者的用户详细介绍了他们使用 vLLM 的配置,包括 GPU 内存利用率、KV 缓存数据类型和模型长度的具体参数。他们不确定自己的设置是否最佳,但表示初步结果是积极的。
-
NInfer 将本地 LLM 性能在 5090 GPU 上提升至 220 tokens/sec
Reddit r/LocalLLaMA 版块的一位用户分享了他们使用 NInfer 和 5090 GPU 运行 270 亿参数模型的积极体验。他们报告称吞吐量显著提高,平均速度为每秒 170-220 个 token,这比他们使用 llama.cpp 的体验快了一倍多。该用户详细介绍了他们的具体设置,包括使用的命令以及模型服务、上下文长度和量化等各种参数。