一款名为 Strata 的新推理引擎已展示出在 16 GB AMD Radeon RX 6900 XT GPU 上运行具有 262,144 个 token 上下文的 76 GB 混合专家模型的能力。该引擎实现了每秒 49 至 66 个 token 的生成速度,即使在最大上下文长度下性能也保持良好。关键优化包括将模型的大部分专家保留在系统 RAM 中,仅将必要的专家移至 GPU,以及使用 int8 缓存而非 fp16 以提高解码速度并减少内存使用。 AI
影响 使得在消费级硬件上运行大型语言模型成为可能,从而可能降低本地 AI 开发的门槛。
排序理由 该项目描述了一个新的推理引擎及其在特定硬件上的性能,这是一项工具改进,而非核心模型发布或研究突破。
- DDR5 SDRAM
- GGUF
- GitHub
- llama.cpp
- local-llm-benchmarks
- Qwen3.8 Flash-Next
- Radeon RX 6900 XT
- Ryzen 9 7900X
- Strata
- Windows 11
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →