RTX 3090 Ti
PulseAugur coverage of RTX 3090 Ti — every cluster mentioning RTX 3090 Ti across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
GLM-5.2 UD-IQ1_M 在 llama.cpp 上的速度测试显示预填充速度为 579 t/s
一位 Reddit 用户分享了在 llama.cpp 上运行 GLM-5.2 UD-IQ1_M 模型时的性能基准测试。测试使用了 RTX 5090 和 RTX 3090 Ti,报告称在 8k 上下文窗口下的预填充速度约为 579 token/秒,在 57k 上下文窗口下的预填充速度约为 324 token/秒。Token 生成速度,即解码速度,测量约为 10.6 token/秒。
-
Qwen 3.6 35B 模型在代理任务中凭借 KV Cache 表现出色
r/LocalLLaMA 上的一位用户发现,在使用 KV Cache 时,Qwen 3.6 35B 模型在代理任务上的表现明显优于 27B 版本。该用户最初因为感知到的智能和速度而偏爱 27B 模型,但遇到了上下文溢出问题。切换到使用未量化的 KV Cache 的 35B 模型解决了这些问题,从而实现了更快、更有效的任务完成。用户还注意到,为了更好地管理上下文,已从 LM Studio 转向 llama.cpp。
-
新流程通过蒸馏扩散和MLLM实现实时视频风格化
研究人员开发了一种新的视频风格化流式处理流程,通过优化扩散U-Net和MLLM文本编码器来实现高帧率。该系统使用非对称流水线和批处理推理来克服每帧瓶颈,从而能够在消费级硬件上进行实时视频编辑。这种方法在RTX 3090 Ti上可维持超过27帧/秒的速率,在更强大的GPU上则更高,展示了高效的视频速率吞吐量。
-
用户寻求本地设置的最佳图生视频模型和工具
一位用户正在寻求关于优化其本地设置以进行图生视频生成的建议,特别比较了 LTX 2.3 和 Wan 2.2 模型。他们还在评估 ComfyUI 和 Wan2GP 作为软件工具,并考虑了视频质量、运动、物理效果以及在配备 24GB VRAM 的 RTX 3090 Ti 上的性能等因素。用户想知道哪种组合能产生最清晰、最逼真的视频结果,同时避免出现内存不足的错误。
-
LLaMA 用户寻求多 GPU 功耗和散热解决方案
在 r/LocalLLaMA 子版块,用户正在寻求有关管理多 GPU 设置功耗和散热的建议。一位用户担心其 RTX 3090 Ti 和额外的 RTX 3080 显卡供电线缆不足,正在探索避免购买新电源的方案。另一位用户在多 GPU 设备中面临 GPU 温度过高的问题,热量向上积聚,在负载下接近 90°C,并正在寻找有效的散热解决方案。
-
本地 LLM 在质量上可媲美 Claude Haiku,但在 Sonnet 重写方面表现逊色
一篇技术博文对使用本地 LLM(特别是 Qwen 模型)运行 Claude Agent SDK 的性能与 Anthropic 的 Haiku 和 Sonnet 级别进行了基准测试。评估发现,在文档事实核查任务中,本地 35B 模型可以达到或超过 Haiku 级别的质量,同时延迟显著降低。然而,本地模型在复制 Sonnet 级别长文重写任务所需的引用格式方面存在困难,这需要一种混合方法,即对于这些特定操作仍需使用 Anthropic 的 API。
-
LocalLLaMA 用户为多代理 Qwen 3.6 设置寻求 harness
Reddit r/LocalLLaMA 版块的一位用户正在寻求开源 harness 的推荐,用于管理多个本地 AI 代理。他们目前在 Windows 10 机器上使用 Qwen 3.5/3.6 27B 模型,配备 RTX 3090 Ti 和 96GB RAM,并使用 LM Studio 作为服务器。用户需要一个工具,能够轻松启动子代理、管理它们的系统提示和工具,并提供一个仪表板来监控所有代理的输出,包括它们的思考过程和工具使用情况。他…
-
用户详述为本地 LLM 推理升级 RTX 3090 Ti
一位用户详述了升级配备 RTX 3090 Ti 的 Dell Precision T5820 工作站以用作本地 LLM 推理节点的流程。该指南涵盖了特定的 BIOS 设置、电源配置以及 PCIe 链路训练所需的七次断电重启启动顺序。它还提供了从源代码编译 llama.cpp 软件的说明,以优化 GPU 性能,使其能够以大约每秒 42 个 token 的速度运行具有 262K token 上下文窗口的 Qwen3.6-27B 模型。
-
本地 LLM 推理通过 MTP 优化提升至每秒 49 个 token
一位个人详细介绍了在单个 RTX 3090 Ti 上优化 LLM 推理速度的三个月项目,使用 Qwen3.6-27B 模型达到了每秒 49 个 token 的速度。这是通过一种集成到 llama.cpp 中的多 token 预测 (MTP) 技术实现的,与其他投机解码方法(如 DFlash)相比,该技术在更长输出时更稳定、更快。优化还包括调整推理预算,在不牺牲质量的情况下节省了时间,并强调了缓存重用对预填充操作的显著影响。