PulseAugur
中
实时 07:58:20
实体 Omlx Local Ai Models

Omlx Local Ai Models

PulseAugur coverage of Omlx Local Ai Models — every cluster mentioning Omlx Local Ai Models across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
6
90 天内 28
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
时间线
  1. 2026-10-13 product_launch oMLX, an LLM inference server built on Apple's MLX framework, has been updated to version 0.6.4, offering an OpenAI- and Anthropic-compatible API and improved performance on Apple Silicon. 来源
  2. 2026-08-24 product_launch Omlx, an LLM inference server, has been released for Apple Silicon Macs. 来源
情绪 · 30 天

3 天有情绪数据

最近 · 第 1/2 页 · 共 30 条
  1. TOOL · CL_361189 ·

    本地 AI 管道通过软件升级实现 40% 加速

    一家名为 Yuh Gettin Tru 的公司通过升级其推理软件,在本地产品丰富管道中实现了 40% 的 token 吞吐量增长。该公司在巴巴多斯运营,帮助零售商为语义搜索创建描述,他们在 MacBook M4 Pro 上切换到更新的 oMLX 软件版本。此次更新使用了 Gemma 模型,使处理速度从每秒 18.7 个 token 提高到 26.2 个 token,而不会影响生成描述的质量。

  2. TOOL · CL_342682 ·

    Qwen3.6 LLM 通过 oMLX 在 MacBook Pro 上本地运行,速度很快

    一位用户使用 oMLX 框架和 openCode 成功在 MacBook Pro 上本地运行了 Qwen3.6-35B-A3B 大型语言模型。该设置能够实现快速的 token 输出,估计每秒约 100 个 token,从而无需互联网连接即可进行聊天和编码任务。该模型是一种专家混合(Mixture of Experts)类型,每个 token 使用约 30 亿个活跃参数,这有助于其速度和 4 位量化后的可管理大小,使其适合 Apple …

  3. TOOL · CL_340886 ·

    OMLX 0.7.4 支持将 Mac 作为 LLM 预填充加速器

    OMLX 项目发布了 0.7.4 版本,引入了利用快速 Mac 作为预填充加速器的新功能。此更新允许用户将大型语言模型推理中计算密集型的预填充阶段卸载到单独的 Mac 设备上,从而可能加快整体处理速度。

  4. TOOL · CL_304042 ·

    Qwen3.8-Flash-Next-oQ4e-mtp 模型在 Apple M3 Max 上本地运行,给用户留下深刻印象

    一位 Mastodon 用户分享了他在 Apple M3 Max 芯片上本地运行 Qwen3.8-Flash-Next-oQ4e-mtp 模型的体验。尽管由于只能卸载模型 50% 的专家而导致性能缓慢,但用户对其成功完成计算机使用基准测试(带自定义 GUI 和 harness)感到印象深刻,得分 23 分(满分 25 分)。该模型被指出是用户能够运行的第一个能够处理此特定基准测试的本地模型。

  5. TOOL · CL_297711 ·

    oMLX 推理服务器已更新以支持 Apple Silicon,支持多个大型模型

    oMLX 是一个基于 Apple 的 MLX 框架构建的 LLM 推理服务器,已更新至 0.6.4 版本。新版本提供了与 OpenAI 和 Anthropic 兼容的 API、连续批处理以及利用 RAM 和 SSD 的双层 KV 缓存系统。在配备 128 GB 统一内存的 Mac M5 Max 上,用户现在可以同时运行多个大型模型,例如 Qwen3.6-35B-A3B-MLX-8bit 和 Qwen2.5-VL-32B-mlx-4bi…

  6. TOOL · CL_295624 ·

    Qwen3.8-27B 在 Mac 速度测试中落后于 Ornith 1.5

    最近在 Mac Studio M4 Max 上进行的一项比较评估了 Qwen3.8-27B 和 Ornith 1.5 模型的性能。Ornith 1.5 模型在首个 token 生成速度上明显更快,对于一个 800 token 的提示,其耗时为 0.49 秒,而 Qwen3.8-27B 耗时为 3.46 秒。虽然 Qwen3.8-27B 的输出速度达到了 55 tokens/秒,但 Ornith 1.5 的速度更快,为 90 token…

  7. COMMENTARY · CL_290836 ·

    Qwen 3.8 Flash Next 模型在各种本地设置下的性能讨论 · 已追踪6个来源

    Reddit的r/LocalLLaMA子版块的用户正在讨论他们在各种硬件配置和软件优化下运行Qwen 3.8 Flash Next模型的经验。讨论内容涵盖使用YaRN等技术实现13万甚至100万token的高上下文长度,以及优化token生成速度。用户正在尝试不同的量化方法(例如,IQ2_XS、IQ3_S、OQ4E)和推理引擎(例如,oMLX、Strata、Infernix),以在消费级GPU和有限内存上最大化性能。

  8. MEME · CL_288822 ·

    用户寻求可用于 MLX/oMLX 的量化本地 AI 模型

    用户表达了希望将最近讨论的 AI 模型的一个量化版本提供给 MLX 和 oMLX 使用的愿望。这表明了运行本地 AI 模型并强调数据主权的兴趣。

  9. TOOL · CL_283208 ·

    HivePlane v0.2.0 的成本控制无法用零成本模型进行测试

    对 HivePlane v0.2.0 的现场测试揭示了其成本执行系统存在严重缺陷,这主要源于测试期间使用了零成本的默认模型。这种设置使得预算门、支出速度防护和投资回报率标志无法进行测试,因为它们永远无法触发拒绝。解决方案是实施一个选择加入的“付费配置文件”,为本地模型分配成本,从而能够对这些财务控制进行实际测试。此外,测试还发现了与事件完成状态、支出结转和租户上限执行相关的错误,突显了在测试环境中定价模型的重要性,以及在支出后而不是在…

  10. TOOL · CL_251059 ·

    本地 AI 代码审查插件可保护数据隐私并符合 GDPR

    一个名为 localreview 的新插件已为 Claude Code 开发,可实现完全在用户本地计算机上进行数据保护的 AI 驱动的代码审查。这解决了与云端 AI 代码分析工具相关的隐私问题和 GDPR 合规性问题。该插件支持 oMLX 等本地运行的模型,并设计为与 LM Studio 兼容,确保敏感代码库保持安全和私密。

  11. TOOL · CL_238196 ·

    CauterRule 工具揭示 LLM 基准测试缺陷,而非模型弱点

    一款名为 CauterRule 的新开源工具已发布,旨在通过将重复的代理失败转换为固定规则来提高 LLM 基准测试的可靠性。初步现场测试显示,问题并非出在模型本身,而是出在基准测试框架上,该框架将解析器脆弱性和数据问题误解为模型弱点。在实施了改进的 JSON 解析、结果重置和时间戳修复等修复措施后,基准测试的信噪比得到了显著改善,从而能够更准确地评估模型性能。

  12. TOOL · CL_237941 ·

    llama.cpp 中 MiniMax M3 LLM 性能调整

    一位用户正在 Mac 上使用 llama.cpp 框架对 MiniMax M3 大型语言模型进行实验。他们在使用该模型时偶尔会遇到轻微的幻觉和异常,并怀疑这可能与其 MiniMax Sparse Attention (MSA) 实现有关。通过禁用 Flash Attention(这会禁用 MSA),用户观察到生成速度显著下降。进一步的测试涉及将 MSA 与 Flash Attention 分离,这表明尽管可能存在性能权衡,但模型在没有…

  13. TOOL · CL_235940 ·

    Qwen 3.8-27B 质量有所提升但性能慢于 Qwen 3.6-27B

    在 Omlx 平台上对 Qwen 3.8-27B 和 Qwen 3.6-27B 模型进行的比较显示,新版本在质量上有了显著的改进。Qwen 3.8-27B 的质量提高了 8%,达到 87.7%。然而,这以速度为代价,每秒 token 数下降了 16%,运行时长增加了 5 倍。输出 token 数也从 18K 大幅增加到 78K。

  14. TOOL · CL_220095 ·

    oMLX 支持在 Apple Silicon 上进行本地 LLM 托管,并实现分布式推理

    oMLX 是一款专为使用 Apple Silicon Mac 的开发者设计的开源工具,用于在本地托管大型语言模型。它利用 FastAPI 和 Apple 的 MLX 框架,提供并发请求处理、分级 KV 缓存(RAM 和 SSD)以及跨多台 Mac 的实验性分布式推理等高级功能。此设置旨在为编码代理等要求严苛的应用提供高效的上下文管理和高吞吐量推理。

  15. TOOL · CL_216976 ·

    Omlx 通过开源服务器将 LLM 推理引入 Apple Silicon Mac

    Omlx 是一款专为 Apple Silicon Mac 设计的新型 LLM 推理服务器。它具有连续批处理和 SSD 缓存功能,以优化性能,并通过 macOS 菜单栏应用程序进行管理。该项目是开源的,并用 Python 编写。

  16. TOOL · CL_215347 ·

    MTPLX 和 llama.cpp+MTP 在 macOS 上运行 Qwen3.8-27B 的基准测试中领先

    Reddit r/LocalLLaMA 版块的一位用户进行了广泛的基准测试,以确定在 macOS 上运行 Qwen3.8-27B 模型最快、最高效的引擎。经过五天和超过 100 小时的 GPU 测试,该用户发现 MTPLX 和支持 MTP(Metal Tensor Parallelism)的 llama.cpp 在代理编码任务方面提供了最佳性能。基准测试包括简短的合成测试、复杂的、多阶段的代理编码挑战以及预填充速度测试。

  17. TOOL · CL_202406 ·

    oMLX成为Mac本地AI代理的首选方案

    oMLX正成为在Mac设备上运行本地AI代理的领先解决方案。该指南详细介绍了如何安装oMLX并将其与Claude Code、Codex、Cursor和OpenCode等流行工具集成。此次集成旨在增强Mac硬件上本地AI代理的功能。

  18. TOOL · CL_176908 ·

    DeepSeek-V4 Flash 0731 本地设置问题详解

    用户在本地设置 DeepSeek-V4 Flash 0731 模型时遇到几个问题。最初,Unsloth GGUF 版本的模型由于回退到 CPU 使用而运行缓慢。在切换到另一个版本的 DeepSeek-V4 Flash 并使用 oMLX 后,工具调用因 Unsloth 未能正确将工具信息发送给模型而静默失败。进一步的故障排除发现了一个与 30GB 热缓存大小限制相关的缓存无效问题,系统中报告了高缓存匹配百分比,但实际使用了零个 token。

  19. COMMENTARY · CL_176082 ·

    用户在 M5 Pro MacBook 上测试本地 LLM 运行时,寻求性能见解

    一位用户正在他们的 M5 Pro MacBook(配备 24GB RAM)上测试各种本地大型语言模型(LLM)的运行时和应用程序。他们正在评估运行 Gemma 4 12B 等模型时,Ollama、LMStudio、oMlx 和 osaurus 等工具之间的性能差异。用户正在寻求社区的意见,了解哪个本地 LLM 运行时能提供最佳性能。

  20. TOOL · CL_126804 ·

    DeepSeek V4 Flash 8位MLX针对Apple Silicon进行优化,提升速度

    一位Reddit用户分享了使用oMLX在Apple Silicon上对DeepSeek V4 Flash 8位MLX模型进行的优化。这些修改由Codex实现,重点在于为8位仿射配置启用原生DeepSeek MoE Metal内核,并优化路由排序和解码内核。这些更改带来了显著的速度提升,预填充速度提高了约1.6倍,解码速度提高了约3倍,同时旨在保持模型准确性。