RTX 4090
PulseAugur coverage of RTX 4090 — every cluster mentioning RTX 4090 across labs, papers, and developer communities, ranked by signal.
- instance of RTX 5090 90%
- used by Qwen3 8.27B 90%
- instance of graphics processing unit 90%
- used by MiniMax H3 90%
- used by Strata 90%
- used by CodeLlama 34B 90%
- used by Qwen 3.8-Flash Next 90%
- used by PagedAttention 90%
- competes with RTX 5090 70%
- competes with RX 7900 70%
- used by Gemma 4 70%
- competes with GeForce RTX 4080 70%
- 2026-10-03 controversy A user reported their RTX 4090 power connector melting after one month of AI generation. 来源
24 天有情绪数据
-
开发者因冷启动问题将 AI 应用从开源模型切换到 Claude Haiku
一位开发者因显著的冷启动延迟问题,将其 AI 应用 Focus 100 从自托管的开源模型迁移到了 Anthropic 的 Claude Haiku API。尽管在小型评估中,开源模型的准确性相当,但其加载到无服务器 GPU 的时间(110-170 秒)对于面向用户的任务来说是不可接受的。切换到 Claude Haiku 后,该模型始终处于预热状态,超过 1000 次调用的成本仅为 0.61 美元,这比持续运行专用 GPU 实例更经济…
-
RTX 4090代理受限于上下文,而非模型权重
在单块RTX 4090上对SenseNova 6.8 Code2Video进行的实验表明,上下文窗口限制而非模型权重是长时运行AI代理的主要瓶颈。该代理由Claude Code驱动,由于其有限的上下文预算和输出令牌上限,在40分钟内难以完成12秒的视频生成。当上下文窗口超过80%时,代理的压缩机制无法在输出限制内生成可用摘要,导致进程停止。研究还强调了模型自我审查能力的不足,未能检测到生成图像中的事实错误,以及API集成导致帧丢失的问题。
-
vLLM 服务基准测试详解,助力高效多用户 LLM 部署
vLLM 是一个开源服务器,旨在高效地在 GPU 上为多用户同时运行大型语言模型,是 LLM 服务面试中的一个关键话题。该技术利用 PagedAttention 和连续批处理来优化 GPU 内存使用和吞吐量。在 RTX 4090 上使用 Qwen3 0.6B 模型进行的基准测试表明,vLLM 可以同时服务 64 个用户,总吞吐量达到每秒 12,087 个 token,而每个用户的延迟与单用户操作相比仅略有增加。
-
SenseNova-Loop-9B:9B 模型在消费级 GPU 上实现 27B 性能
PixelBrain Studio Engineering Labs 发布了 SenseNova-Loop-9B,这是一款采用新颖循环推理架构的多模态视觉模型。该设计使这个拥有 90 亿参数的模型能够达到相当于 146 亿至 270 亿参数模型的计算深度,从而在需要显著更少 VRAM 的同时超越更大的模型。该模型拥有 512K 的原生上下文窗口,能够精确处理高分辨率多模态数据。其紧凑的尺寸和高效的架构使其能够部署在 RTX 3060 …
-
Cloudflare 的 Clairic-flash 模型在本地运行时遇到问题,社区移植版缺少功能
Cloudflare 的开源权重视觉模型 Clairic-flash 在本地运行时面临重大挑战,尤其是在 NVIDIA RTX 3090/4090 GPU 上,因为其官方运行时在这些显卡上会失败。此外,社区提供的 llama.cpp 的 GGUF 版本省略了关键组件,如类型化头部和请求管道,而这些组件对于模型独特的提取能力至关重要,包括置信度分数和跨度定位。虽然该模型基于 Qwen,但这些缺失的元素意味着 GGUF 版本只能近似 Cl…
-
微小的权重编辑显著提升了 Qwen3.5-0.8B 模型性能
研究人员开发了一种方法来修复 Qwen3.5-0.8B 模型的问题,特别是其容易陷入重复性思维循环的倾向。通过对 131,072 个权重进行微小编辑,占模型总权重的 0.016%,研究人员显著减少了生成的 token 数量,并提高了在 MATH-500 基准测试上的准确性。该技术解决的是容量问题而非知识差距,正如其对 Gemma 3 270M 模型影响有限所证明的那样。研究还强调了在服务器端正确配置采样参数以确保准确基准测试的重要性。
-
SGLang 与 vLLM:深入探讨 LLM 服务引擎的关键区别
文章比较了两个流行的开源 LLM 服务引擎 SGLang 和 vLLM,重点介绍了它们共享的核心思想,如连续批处理和 PagedAttention。主要区别在于它们如何重用先前处理过的提示片段:vLLM 使用页面标签链,而 SGLang 采用基数树结构。作者指出,虽然两者都与 OpenAI API 兼容,但在服务器端切换它们可能需要代码调整。比较基于 vLLM 在 RTX 4090 上的性能,SGLang 的性能则根据其项目文档进行描述。
-
英伟达调查潜在网络攻击,此前面临出口管制审查
英伟达正在调查一起潜在的网络攻击事件,该事件可能已导致敏感数据泄露。该公司已将此次事件列入其正在进行的调查清单中,其中包括此前影响其RTX 4090显卡的一项漏洞。美国对华技术销售的现有出口管制使这一情况更加复杂,可能影响英伟达的运营和应对能力。
-
在 Windows 上使用 Ollama 和 Qwen 3.8 设置免费本地 AI Agent Hermes
一份指南详细介绍了如何在 Windows 上使用 Ollama 和 Qwen 3.8 设置 Hermes Agent,以获得免费的本地 AI Agent 体验。该过程包括安装 Ollama,下载 Qwen 3.8 模型,以及关键地将 Ollama 的上下文长度配置为至少 64K tokens,这对于 Hermes Agent 的功能是必需的。该指南还涵盖了安装 Hermes Desktop 应用程序并通过自定义端点将其连接到 Olla…
-
本地实时会说话的虚拟形象使用 SoulX-FlashHead 和 LFM3-Audio
一位用户开发了一个完全在本地运行的实时会说话的虚拟形象系统,结合使用了 SoulX-FlashHead、OWSM v4 和 LFM3-Audio 模型。该流程首先使用 OWSM v4 转录语音输入,然后使用 LFM3-Audio 生成对话响应和合成语音,最后使用 SoulX-FlashHead 实时驱动肖像动画。该设置在 RTX 5090 上实现了约 850 毫秒的延迟,但视频生成组件的最佳性能需要像 RTX 4090 这样的高端 GPU。
-
在 24GB GPU 上自托管 Nanbeige4.3-33B:权重优化与 Bug 修复
Nanbeige4.3-33B 是一款开源的代理编码模型,通过仔细管理模型权重和“思考模式”,可以在单块 24GB GPU 上运行。运行这个拥有 330 亿参数的密集型模型需要将其权重完全加载到 GPU 的 VRAM 中以保持速度,因为卸载到较慢的系统 RAM 会显著降低性能。开发者发现,在 16GB GPU 上使用 3 位量化权重文件(约 14.7GB)可以实现超过 13 tokens/秒的最佳速度,而 2 位文件对于编码任务来说精…
-
LLM性能与显存需求:深入解析每秒token数与内存计算
理解LLM的性能和内存需求对于高效部署至关重要。对于推理速度,关键指标是总的每秒token数(TPS)以实现成本效益,以及每秒每用户token数以获得可感知的响应速度,建议的最低值为每秒30-50个token。内存需求取决于模型权重(参数数量和精度)、KV缓存(上下文长度和批次大小)以及开销。量化,特别是量化到4位或8位,显著降低了权重内存需求,而分组查询注意力可以最小化KV缓存大小。对于微调,由于激活和梯度,内存需求会大幅增加,尽管…
-
Clover-35B-A3B 扩散模型集成到 llama.cpp 以供本地使用
Clover-35B-A3B-Preview 模型,一个扩散语言模型,已被集成到 llama.cpp 中,这是一个流行的本地运行模型的工具。在 RTX 4090 上的初步测试显示速度为每秒 202-211 个 token,完整的上下文窗口需要近 22 GB 内存。模型的文件格式遇到了挑战,需要一个补丁来正确加载和处理权重,这些权重的结构与传统的自回归模型不同。
-
Unsloth 通过 Dynamic v3.1 更新提升 Qwen3.8-27B 模型准确性
Unsloth 发布了其量化算法 Dynamic v3.1 的更新,该更新在保持文件大小相似的情况下,将 Qwen3.8-27B 模型的准确性提高了 5-10%。此次更新增强了模型在包括编码和代理任务在内的各种基准测试中的性能。新的量化模型可通过 Unsloth GGUFs、NVFP4 和 Unsloth Desktop 在本地执行,并详细说明了不同 VRAM 配置的特定硬件要求。
-
指南详述使用LoRA和QLoRA廉价微调Qwen模型
本文提供了关于高效微调Qwen模型的技术指南,特别关注使用LoRA和QLoRA技术以降低成本。它详细介绍了如何根据模型大小和量化方法选择合适的GPU硬件,并为RTX A6000和A100 80 GB等显卡提供了具体建议。该指南还区分了Qwen3与更新的Qwen3.5/3.6/3.8视觉语言模型,解释了它们不同的架构和训练要求。
-
Vast.ai GPU 租用成本因流量和启动费用而异
一位用户在 Vast.ai 上使用 RTX 4090 GPU 进行了八次 QLoRA 7B 训练作业,以了解除每小时费率之外的实际成本。实验表明,流量成本,特别是下载 Qwen2.5-7B-Instruct 等大型模型的流量成本,显著影响了总账单,有时甚至超过了 GPU 租用费。此外,启动时间(包括镜像拉取和依赖项安装)也会计费,并且主机性能差异导致了看似相同的作业有不同的训练时长和成本。
-
Anyscale 使用 Ray 加速 JEPA 机器人推理
Anyscale 开发了一个使用 Ray 的系统,用于加速机器人领域 JEPA 世界模型架构的实时推理。V-JEPA2-AC 模型之前在抓取和放置任务中成功率可达 65-80%,但规划时间长达 16 秒/动作。通过将推理卸载到拥有更强大 GPU(如 NVIDIA A100)的 Ray 集群,Anyscale 显著缩短了规划时间,从而实现了更快、更连续的机器人运行。
-
AI 硬件性能:用户分享 LLM token 吞吐量数据
作者正在进行一项实验,以衡量运行大型语言模型时各种硬件配置的实际 token 吞吐量。他们要求读者提供有关其显卡、使用的具体模型和量化方法以及在不同并发级别下测得的每秒 token 数的详细信息。目标是将这些用户提交的结果与基于内存带宽和模型大小计算出的理论上限进行比较,旨在了解不同系统的实际性能限制和差异。
-
Qwen2.5-Coder 32B 和 MoE 模型为高端 GPU 上的本地编码提供长上下文支持
对拥有 RTX 4090 或 3090 等高端 GPU 的用户而言,本地编码 LLM 的比较突出了模型大小、上下文窗口和性能之间的权衡。对于聊天长度的提示,推荐使用 Qwen2.5-Coder 32B,当使用 AWQ 量化并通过 vLLM 运行时,它提供 8K 上下文窗口。对于更长的上下文,例如整个文件或代码库,建议使用混合专家(MoE)模型,如 Qwen3-Coder 30B-A3B 或 North Mini Code 1.0 30…
-
受AI驱动的内存成本飙升,ASUS ROG Zephyrus G14价格从1050美元飙升至3600美元
自2020年首次亮相以来,ASUS ROG Zephyrus G14游戏笔记本电脑的价格大幅上涨。最初型号的售价为1050美元,但到2026年,入门级配置的成本将达到3200美元,而高端型号的价格将达到3600美元。这种远超通货膨胀的显著价格上涨,归因于屏幕和显卡等组件的升级,以及AI需求驱动的内存成本飙升。