CUDA 12

开源 Arete-27B 模型在 16GB GPU 上运行多模态 AI

Nous Research 发布了 Arete-27B，这是一个基于 Alibaba 的 Qwen3.8-27B 基础模型构建的开源多模态模型。这个拥有 270 亿参数的模型经过微调，能够进行高级推理和无审查指令遵循，并具备原生视觉投影能力。值得注意的是，通过 GGUF 量化，Arete-27B 可以在单个 16GB VRAM 的消费级 GPU 上运行，提供本地部署能力，支持 256K 上下文窗口和兼容 OpenAI 的 API 端点。