一位用户报告称，在太阳能供电的自托管服务器上运行Qwen3.6-35B-A3B-UD-Q4_K_M大型语言模型取得了积极成果。该设置利用了配备三块2080 Ti GPU的旧DDR3硬件，实现了约每秒63个token的速度，且无每个token的成本。这展示了一种经济高效且高效的本地运行先进AI模型的方法。 AI
影响 展示了在旧硬件上具有成本效益的本地LLM部署。
排序理由 用户关于在自托管硬件上运行LLM的报告。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
The solar powered LLM server seems to be happy with Qwen3.6-35B-A3B-UD-Q4_K_M. It gets around 63 tokens per second and costs me $0.00 per token. And the server itself is an ancient DDR3 platform with 3 2080 ti GPUs in it! # solarai # decentralized # smarthome # homeassistant # he…