ISTA-DASLab

Strata 项目可在消费级 GPU 上运行大型本地 LLM

Strata 项目可在包括 12GB 显存的 GPU 在内的消费级硬件上本地运行 Qwen3.8-Flash-Next 等大型语言模型。它通过将模型的负载分配到 GPU、CPU、RAM 和 SSD，并利用专家混合（Mixture of Experts）架构，仅激活每个 token 所需的组件来实现。在 RTX 3060 上的初步测试显示，生成速度约为每秒 30 个 token，缓存利用率高，使其成为本地编码任务的可行选项。