作者正在 Mastodon 平台设置一个新的个人博客,利用 ActivityPub 协议。此举是个人挑战的一部分,旨在利用本地、较小的语言模型(LLM)进行编码,而不是依赖云端巨头。作者详细介绍了他们的硬件限制,特别是 GTX 1060 GPU,以及他们选择 Qwen 3.6 35B A3B 模型,特别是 Tiel Coder 变体,因为它在性能和资源需求之间取得了平衡。他们通过 CPU 卸载实现了 96K token 的上下文窗口,解码速度为每秒 15 token。 AI
影响 展示了在消费级硬件上运行能力强大的 LLM 的可行性,可能降低 AI 实验的门槛。
排序理由 该条目是一篇个人博客文章,详细介绍了技术挑战和设置,而不是主要发布或重要的行业事件。
在 Mastodon — fosstodon.org 阅读 →
- ActivityPub
- Emacs Lisp
- GTX 1060
- lor.sh
- Mastodon
- mastodon.ml
- nginx
- Org-mode
- Qwen 3.6 35B A3B
- RTX 5090
- trump
- Truth Social
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →