M4 Pro MacBook
PulseAugur coverage of M4 Pro MacBook — every cluster mentioning M4 Pro MacBook across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
用户将Qwen3.8 Flash Next分布在5台设备上，实现39 tok/s
一位用户已成功将Qwen3.8 Flash Next大型语言模型分布在一台由五台设备组成的网络中，包括两台游戏PC、一台MacBook Pro和两台iPhone 17 Pro Max。该设置利用流水线式推断技术实现了令人印象深刻的令牌生成速度，在60k上下文长度下报告的速率为37-39 tokens/s。用户还在尝试262k上下文布局，挑战本地分布式LLM推理的可能性。
-
Qwen3-8B 语言模型成本分析显示 4 比特精度几乎免费
一项技术分析探讨了在 M4 Pro MacBook 上使用 llama.cpp 运行 Qwen3-8B 语言模型的运营成本。该研究在各种比特精度（16、8、4 和 2 比特）下测量了性能，评估了文件大小、困惑度、读写速度以及高达 65,000 个 token 的 KV 缓存增长。结果表明，四比特精度运行成本几乎为零，而二比特精度在尺寸和速度方面有优势，但以牺牲性能为代价。
-
LLM 通过新技术在消费级硬件上实现大规模上下文窗口
研究人员正在开发创新方法，使大型语言模型 (LLM) 能够处理更大的上下文窗口，即使在消费级硬件上也是如此。一种名为 JustFit 的方法使用 KV 压缩和状态管理等技术，在具有 24 GiB RAM 的笔记本电脑上提供 200K 令牌 LLM，实现了超过先前基线 6 倍的上下文。另外，一个 44M 参数的量化 LLM 从头开始训练，模型大小为 19.8 MB，在 CPU 上速度约为 1,900 令牌/秒，展示了推理和状态保持转换的…