GTX 1080 Ti
PulseAugur coverage of GTX 1080 Ti — every cluster mentioning GTX 1080 Ti across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
2026年，GTX 1080 Ti等老旧GPU可运行12B大语言模型
一项最新分析表明，到2026年，老旧GPU（特别是11GB显存的GTX 1080 Ti）仍能有效运行大语言模型。通过在Ollama中使用量化感知训练和闪电注意力（flash-attention）等技术，高达120亿参数的模型可以达到约每秒30个token的可用速度，并完全载入GPU显存。虽然更大模型或需要CPU分载的模型速度会显著下降，但这表明即使是预算有限、使用老旧硬件的用户也能参与本地大语言模型推理。
-
用户寻求有关本地AI模型多GPU设置的建议
r/LocalLLaMA subreddit上的一位用户正在寻求有关如何最好地利用一系列旧的消费级GPU来部署本地AI模型的建议。他们混合了NVIDIA和AMD显卡，具有不同的显存容量，包括9070 XT、5700 XT、GTX 1080 Ti、GTX 970和R290。用户还在其AM5平台（配备64GB DDR5内存）上拥有多个PCIe插槽和M.2转Oculink eGPU连接。
-
研究人员在消费级 GPU 上构建本地 RAG，详述 3 个注意事项
一位研究人员详细介绍了使用消费级 GPU 为研究论文构建本地检索增强生成（RAG）系统的过程。该项目名为 paper-rag，涉及设置一个包含密集和稀疏嵌入、重排以及本地 LLM 的混合检索系统。主要挑战包括嵌入模型冻结 GPU，通过卸载到 CPU 解决；以及大型上下文 LLM 因过多的 KV 缓存运行缓慢，通过限制上下文大小来修复。研究人员还建议不要将旧 GPU 和新 GPU 合并用于推理，因为这会造成网络瓶颈。
-
Gemma 4 12B在旧款GTX 1080 Ti上运行，Q8量化修复错误
一位用户详细介绍了他们在旧款GTX 1080 Ti GPU上运行Google新款Gemma 4 12B模型的经验。他们发现Q4量化级别实现了约28 tokens/秒的可用聊天和起草速度，适合单卡8GB显存。然而，对于生物信息学等更详细的任务，Q4版本出现了明显的故障和事实错误，这通过使用Q8量化级别得以解决，尽管速度较慢且需要两块GPU。
-
35B MoE模型在双1080 Ti GPU上运行，并辅以CPU RAM
一位用户成功地在两块8年前的NVIDIA GTX 1080 Ti显卡上运行了Qwen3.6-35B-A3B，这是一个拥有350亿参数的混合专家（MoE）模型。该设置利用CPU RAM来存储模型的大部分权重，只有活跃的专家能够放入合并后的22GB显存中。这种配置大约能达到每秒20个token的吞吐量，表明即使是较旧的硬件，通过适当的量化和内存管理技术，也可以运行稀疏MoE模型。
-
Forge Neo 与旧款 NVIDIA GPU 的兼容性问题已报告
一位用户在使用 Forge Neo（一个 Stable Diffusion 界面）时遇到错误，原因是其 NVIDIA GeForce GTX 1080 Ti 显卡与当前的 PyTorch 安装不兼容。错误消息表明，PyTorch 版本支持比 1080 Ti（sm_61）更新的 CUDA 功能（sm_75 及以上）。用户正在寻求关于 Forge Neo 是否能与他们的硬件协同工作以及可能需要采取哪些步骤来解决兼容性问题的相关信息。
-
Anthropic工程师分享智能体构建见解；GPU演示展示Qwen模型运行
来自Anthropic的工程师分享了关于“构建有效智能体”的14分钟演示。另外，一个演示展示了使用三块2017年的GTX 1080 Ti GPU和llama.cpp的MTP功能来运行Qwen模型。