RTX 3090
PulseAugur coverage of RTX 3090 — every cluster mentioning RTX 3090 across labs, papers, and developer communities, ranked by signal.
- used by Qwen3.6-27B 90%
- used by vLLM 70%
- competes with RTX 5090 70%
- used by Qwen-3.6 27B 70%
- used by Multi Token Prediction 70%
- competes with Nvidia GeForce RTX 5070 Ti 70%
- used by r/LocalLLaMA 70%
- used by Gemma 70%
- used by Qwen3.6 35B-A3B 70%
- used by Ideogram 4.0 70%
- competes with RTX 5080 70%
- used by GLM-4.5-Air 70%
21 天有情绪数据
-
添加旧款 GPU 未能提升 Ollama/vLLM 的上下文窗口
使用 Ollama 和 vLLM 测试双 GPU 设置，结果显示在更强大的 RTX 3090 旁边添加一个旧款 Quadro P2000 并未增加上下文窗口。相反，旧款 GPU 导致 Ollama 的解码速度显著下降，并且被 vLLM 拒绝，因为它较低的计算能力与 AWQ 量化方法不兼容。这表明仅仅添加更多 GPU，尤其是旧款 GPU，并不能自动提升 LLM 的性能或上下文处理能力。
-
Qwen3-Coder 32B 在2026年领先本地AI编码模型
Qwen3-Coder 32B 模型已成为2026年顶级的本地编码助手，其性能可与 Claude Sonnet 4 和 GPT-4o 等云端解决方案相媲美。该模型由阿里巴巴的 Qwen 系列微调，HumanEval 得分为91.4%，可在 RTX 3090 GPU 等消费级硬件上运行，约需20GB显存。对于显存较小的用户，也提供了 Qwen3-Coder 14B 和 8B 等较小版本，提供了可行的本地AI解决方案，优先考虑数据隐私并免…
-
用户体验到使用集成 GPU 进行 Stable Diffusion 的速度大幅提升
一位 Reddit 用户分享了他在 Fedora Linux 系统上从仅使用 CPU 进行推理切换到使用集成 GPU (iGPU) 进行 Stable Diffusion 的体验。他们观察到速度有了显著提升，iGPU 大约在 4 分 27 秒内完成了任务，而 CPU 则需要超过 10 分钟。这种性能差异让用户更好地理解了 GPU 在 AI 任务中的价值和需求。
-
Transformer记忆库可在推理时实现持续学习
一位独立研究员开发了一种新颖的Transformer快速权重记忆库，可在推理时实现持续学习，无需反向传播或传统的测试时训练。该系统在一个小型DeepSeek风格的Transformer上进行了测试，成功地以高精度安装和泛化了从未训练过的规则。研究表明，这种记忆机制比测试时训练或上下文学习在推理过程中适应新信息方面更有效且效率更高。
-
LLM 推理工具 vLLM、llama.cpp、Ollama 在显存限制下的基准测试
vLLM、llama.cpp 和 Ollama 的基准测试比较揭示了性能上的显著差异，尤其是在处理超出可用显存的大型语言模型时。虽然 vLLM 在 24GB 显存内吞吐量表现出色，并发增加时可达 5.4 倍的扩展，但当模型需要超过约 22GB 时则完全失败。相比之下，llama.cpp 和 Ollama 可以通过溢出到系统内存来处理这些更大的模型，尽管速度要慢得多，每秒只有个位数 token。值得注意的是，与 Ollama 的自动方法…
-
本地LLaMA用户为MiniMax M3构建448GB显存AI平台
一位Reddit用户分享了他们令人印象深刻的本地AI设置，该设置采用了强大的硬件配置，包括总计448GB显存的多块高端GPU。他们正在使用AWQ-INT4量化和vLLM进行推理来运行MiniMax M3模型，实现了显著的吞吐量。该用户旨在为单个用户实现100万token的上下文窗口，同时也探索多用户并发的选项，并幽默地指出了这可能对他们婚姻造成的压力。
-
新的AutoMIA管道可自动创建3D“镜像幻觉艺术”
研究人员开发了AutoMIA，这是一个用于创建“镜像幻觉艺术”的自动化管道。“镜像幻觉艺术”是一种新颖的3D幻觉艺术形式，其中单个物体会产生两种不同的外观：一种来自正面，一种来自其镜像反射。这种新方法通过联合优化形状和颜色来解决先前方法的局限性，而先前的方法仅关注形状并需要大量手动输入。AutoMIA 包含四个关键机制——投影对齐组件选择、位置加权自适应抑制、内部体素保留以及形状-颜色解耦优化——以提高稳定性和减少伪影，从而能够生…
-
LoRA和QLoRA：在消费级GPU上高效微调LLM
本文深入探讨了参数高效微调（PEFT）方法，特别是LoRA和QLoRA，它们使得在单个消费级GPU上训练大型语言模型成为可能。文章解释了LoRA的数学原理，详细说明了它如何冻结预训练权重并引入可训练的低秩适配器矩阵。文章进一步阐述了QLoRA的创新，包括用于4位量化的NormalFloat 4数据类型和双量化，这些技术在不显著损失性能的情况下大大降低了内存需求。
-
用户寻求双 RTX 3090 LLM 工作站的最佳 PC 机箱
一位 r/LocalLLaMA 子版块的用户正在寻求关于双 RTX 3090 设置的最佳 PC 机箱的建议，目标是使本地 LLM 推理和训练的温度保持可控。用户计划将每块 GPU 的功耗限制在 250W，并考虑了 Fractal North XL Mesh、Meshify XL 2 和 Lian Li O11D EVO 等机箱，同时还询问了垂直 GPU 安装的问题。他们希望从其他运行类似双 GPU 设置的用户那里获得关于持续温度、潜在…
-
本地LLM代理基准测试：框架在RTX 3090上表现优于模型
一项基准研究在RTX 3090 GPU上评估了五个本地LLM模型，重点关注它们在不同编排框架下的性能。研究发现，框架的选择，特别是支持原生工具调用（如LangGraph）的框架，显著影响模型的有效性，其中一个模型在使用合适的代理时，成功率从0%提高到93%。研究还强调了工具遵循的重要性，并测量了每项正确任务的电力成本，确定Qwen3-Coder是本地代理任务的高效模型。
-
本地AI图像模型：Boogu Turbo最快，Krea 2 Turbo显存效率最高
一项在RTX 3090显卡上对三个本地图像生成模型——Z-Image Turbo、Boogu Turbo和Krea 2 Turbo——进行的基准测试，揭示了它们各自独特的性能特征。Boogu Turbo在生成每张图像的速度上最快，仅用约5.5秒和4步即可完成生成。Z-Image Turbo提供了每秒最高的迭代速度，而Krea 2 Turbo是整体上最慢的，但显存效率最高，使用了约18.8 GB的显存。所有三个模型都成功运行在所测试GP…
-
Gemma 4:26b 在每正确答案的成本效益方面领先本地 LLM
一项最新分析评估了通过 Ollama 提供的八个本地大型语言模型（LLM），重点关注它们每正确答案的成本效益，以 GPU 能量消耗为测量依据。Gemma 4:26b 模型成为最高效的模型，在每 1,000 个正确答案的成本为 0.013 欧元的情况下，准确率达到 96.9%。相反，Qwen 3:8b-fp16 模型成本最高，每 1,000 个正确答案的成本为 0.239 欧元，准确率较低，为 66.7%。研究发现，更大的模型和更高的精…
-
本地 LLM 成本揭晓：小型模型比云端便宜，大型模型更贵
在一台配备 RTX 3090 GPU 的单机上进行的受控基准测试，测量了运行本地大型语言模型（LLM）的实际成本，以每百万 token 欧元计。结果显示，像 Gemma 3:1B 这样的小型模型比托管 API 便宜得多，每百万 token 成本约为 0.118 欧元。然而，像 Gemma 3:27B 这样的大型模型由于能耗高和吞吐量低，本地运行成本更高，每百万 token 成本为 0.706 欧元，这还不包括硬件折旧。
-
DIY爱好者为本地LLM运行搭建6000美元家庭实验室
一位用户详细介绍了他们为本地运行大型语言模型而定制的家庭实验室计算机的构建和功能。该设备配备了四块NVIDIA RTX 3090 GPU，192GB DDR5内存（超频至5600 MHz），并由经济型主板和CPU驱动。用户花费了约6000美元和40小时进行构建，出于经济原因选择了消费级硬件而非更昂贵的服务器级组件。该设置允许他们运行包括GLM5.2、MiniMax 2.7、Flux2Klein（用于扩散模型）以及Qwen3.6在内的各…
-
Qwen3.6-35B-A3B 模型针对单张 RTX 3090 GPU 进行优化
一位 Reddit 用户分享了他们在单张 RTX 3090 GPU 上优化 Qwen3.6-35B-A3B 模型的流程。他们的目标是在 128k 上下文窗口下实现最高质量和速度。基准测试表明，使用 `ik_llama` 引擎和 `I-Compact` APEX 模型可提供最快的生成速度，而使用 `spiritbuun` 引擎、`I-Quality` 和 TurboQuant 缓存则能提供相当的速度，且质量可能更高。`I-Quality…
-
NVIDIA RTX 3090 在虚拟机直通中仅限于 PCIe 第一代速度
Reddit 的 r/LocalLLaMA 子版块的一名用户遇到了一个技术问题，他们的 NVIDIA RTX 3090 GPU 在直通到虚拟机时仅以 PCIe 第一代速度运行。该 GPU 在主机系统（Alpine Linux）上以预期的 Gen 4 速度运行，但在虚拟机（Nobara Linux）激活后会降至 Gen 1（2.5 GT/s）。用户已尝试了多种故障排除步骤，包括调整 QEMU 设置和修改内核参数，但问题仍未解决。他们怀疑…
-
PC买家寻求关于二手RTX 3090配置与全新RTX 4070 Ti用于AI和游戏的建议
一位用户正在寻求购买PC的建议，该PC将用于游戏和本地AI任务，并特别考虑了两个选项。第一个是二手定制机，售价3500美元，配备Ryzen 7 9800X3D CPU、24GB显存的RTX 3090 GPU和64GB内存。第二个是来自Memory Express的全新预装机，售价约3550加元，配备Ryzen 7 7800X3D CPU、16GB显存的RTX 4070 Ti GPU和32GB内存。用户强调了二手配置在AI工作中的显存优…
-
Google Gemma 4 模型详解：从手机到高端 GPU 的显存需求
Google 发布了 Gemma 4，提供四种不同显存需求的模型变体。最小的模型适用于内存极小的设备，而最大的 31B Dense 模型需要至少 22GB 显存，最适合 RTX 5090 等 GPU。26B-A4B MoE 变体被强调为一种平衡选择，通过仔细的上下文管理可安装在 16GB 显卡上，推荐给拥有 16GB 或 24GB GPU 的用户。
-
96GB 显存的本地 LLM 推理在成本上未能胜过付费 API
一位用户详细介绍了他们花费两周时间优化本地 LLM 设置（在四块 RTX 3090 GPU 上拥有 96GB 显存）的努力，目的是取代付费云 API。尽管实现了大约每秒 105 个 token 的速度，并实现了诸如增加批处理大小和 KV 缓存量化等优化，但系统的 CPU 协调瓶颈导致 GPU 利用率仅为 6%。最终，高功耗和硬件折旧使得本地设置在经济上不如付费 API 适合交互式工作，尽管它仍然适用于注重隐私或批量任务。
-
开发者详述使用 vLLM 在 24GB 显存上本地部署 Qwen3.6-27B
一位开发者详细介绍了一个在 24GB 显卡（具体为 RTX 3090）上本地运行 Qwen3.6-27B 模型的配置方案。该配置利用 vLLM 进行高效服务，并采用 GPTQ-Marlin 量化方法来平衡长上下文、稳定的代理行为和可用的解码速度。该方案优先考虑单个高质量代理会话而非并行处理，最大上下文长度为 131,072 个 token。作者还概述了 Hermes 代理与 vLLM 端点交互的具体配置，强调了长超时和启用的思考能力以…