PulseAugur
中
实时 04:05:13
English(EN) Two ~300B MoE models, each on ONE 128 GB mini PC (AMD Strix Halo): GLM-5.3-Flash at ~580 tok/s prefill, MiMo-V2.6-Flash up to 44 tok/s decode. EXL3 weights + open ROCm engine

新引擎支持在单台迷你PC上运行两款300B MoE模型

一款名为Kyojin的新引擎,基于ExLlamaV3并针对AMD的Strix Halo硬件进行了优化,已被开发用于运行大型混合专家(MoE)模型。该引擎允许两款300B级别的MoE模型,GLM-5.3-Flash和MiMo-V2.6-Flash,分别装入单台128GB的机器中。性能基准测试显示,GLM-5.3-Flash的预填充速度约为580 token/s,MiMo-V2.6-Flash的解码速度高达44 token/s,且与官方FP8版本相比,质量指标具有竞争力。 AI

影响 使得在更易获得的硬件上运行大型MoE模型成为可能,从而可能使先进的AI能力更加普及。

排序理由 发布了一款新的引擎和量化模型,用于在特定硬件上本地部署LLM。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新引擎支持在单台迷你PC上运行两款300B MoE模型

本文如何被排名

Signal score
1 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
发布了一款新的引擎和量化模型,用于在特定硬件上本地部署LLM。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
model release, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Same-day
Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/Yaniss916 ·

    两款约300B的MoE模型,均运行在单台128GB迷你PC上(AMD Strix Halo):GLM-5.3-Flash预填速度约580 token/秒,MiMo-V2.6-Flash解码速度高达44 token/秒。包含EXL3权重+开源ROCm引擎

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1wwocik/two_300b_moe_models_each_on_one_128_gb_mini_pc/"> <img alt="Two ~300B MoE models, each on ONE 128 GB mini PC (AMD Strix Halo): GLM-5.3-Flash at ~580 tok/s prefill, MiMo-V2.6-Flash up to 44 tok/s decode…