实体
vllm-mlx
vllm-mlx
PulseAugur coverage of vllm-mlx — every cluster mentioning vllm-mlx across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
MTPLX 和 llama.cpp+MTP 在 macOS 上运行 Qwen3.8-27B 的基准测试中领先
Reddit r/LocalLLaMA 版块的一位用户进行了广泛的基准测试，以确定在 macOS 上运行 Qwen3.8-27B 模型最快、最高效的引擎。经过五天和超过 100 小时的 GPU 测试，该用户发现 MTPLX 和支持 MTP（Metal Tensor Parallelism）的 llama.cpp 在代理编码任务方面提供了最佳性能。基准测试包括简短的合成测试、复杂的、多阶段的代理编码挑战以及预填充速度测试。
-
通过缓存和头部剥离实现自托管 Claude Code 加速
一位开发者详细介绍了他们如何通过解决两个关键性能瓶颈来显著加快自托管 Claude Code 的设置。主要问题是 Claude Code 注入的计费头部轮换，这导致 vLLM-MLX 后端出现缓存未命中。此外，vLLM-MLX 的 SimpleEngine 缺少系统前缀的持久 KV 状态，需要自定义补丁进行缓存。实施这些更改后，周转时间从 100 多秒减少到 7-8 秒，提高了 13-15 倍。
-
Claude 代码在 MacBook 上本地运行，性能超越 llama.cpp
一位用户使用 vllm-mlx 库成功在 MacBook 上运行了 Anthropic 的 Claude 代码。该设置的性能显著优于 llama.cpp，性能提升了 87%。作者对在本地运行模型的便捷性和效率感到惊讶。