Swiss AI 开发了 Apertus 1.5 8B，这是一个语言模型，能够完全在配备 8GB GPU（具体为 RTX PRO 1000）的笔记本电脑上运行。该模型通过对其嵌入和输出头使用 W4 量化来实现这一点，从而无需依赖云端或 CPU 分载即可进行本地操作。该模型展示了稳定的聊天能力，速度达到 14-22 tokens/s，但其工具调用功能仍需改进。 AI
影响 使得在消费级硬件上运行先进的语言模型成为可能，有可能实现人工智能访问和本地部署的民主化。
排序理由 该集群描述了一个新的开源语言模型的发布和技术细节，符合研究类别。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
