实体
Q3_K_M
Q3_K_M
PulseAugur coverage of Q3_K_M — every cluster mentioning Q3_K_M across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
LLM性能受内存带宽瓶颈，而非仅仅容量
在消费级硬件上运行大型语言模型需要仔细考虑带宽限制，而不仅仅是内存容量。对配备24GB统一内存的Mac Mini M4上的一个27B参数模型的分析显示，虽然模型可以装入内存，但其性能受到内存带宽的严重瓶颈。作者提出了一种简单的算术计算方法，根据内存带宽和模型大小预测吞吐量，可以提前识别带宽受限的情况，并指导硬件购买决策。
-
Flash-MoE 技术让大型 AI 模型能在 16GB 内存的 Mac 上运行
一种名为 anemll-flash-llama.cpp 的新技术，能够让大型专家混合（MoE）模型在内存仅为 16GB 的 Mac 上运行。该方法将模型专家存储在 SSD 上，仅将必要的专家加载到小型缓存中，从而显著降低内存需求。基准测试表明，虽然这种方法受存储 I/O 限制，但它使得 Qwen3.5-35B-A3B 等模型能在消费级硬件上使用，其中 Q3_K_M 等量化方法被证明更实用。
-
Tencent and VIDRAFT showcase sparse MoE models with reduced active parameters
Tencent has released Hy3, a 295-billion-parameter Mixture-of-Experts (MoE) model that utilizes only 21 billion active parameters per forward pass, significantly reducing inference costs. This MoE architecture, featuring…