Rocm
PulseAugur coverage of Rocm — every cluster mentioning Rocm across labs, papers, and developer communities, ranked by signal.
- used by Radeon 90%
- competes with organ of the Kyushu Music Kindergarten 80%
- competes with fable 70%
- competes with Groq LPUs 70%
- instance of R9700 70%
- used by Ryzen AI Max+ 70%
- used by Heterogeneous Integration Platform 70%
- used by RX 7900 70%
- used by MiniMax H3 70%
- used by Aiterhofen 70%
- used by R9700 70%
- used by gfx1151 70%
11 天有情绪数据
-
AMD ROCm 10.2 发布,扩展了对 Ryzen 笔记本电脑的支持并进行了优化
AMD 发布了 ROCm 10.2,为其开源 GPU 计算平台带来了重要的更新和优化。新版本扩展了对 Ryzen 笔记本电脑的支持,正式包含 18 款旧的基于 RDNA 3 的型号,并对 ROCm CLI 和 AMD Skills 进行了改进。此外,ROCm 10.2 增强了对 vLLM 和 SGLang 的支持,并为 PCIe GPU 优化了 RCCL,同时更新了 RHEL/SLES 支持。
-
LLM 基准测试显示 MoE 模型在单 GPU 上提供更好的多流性能
最近的一项基准测试探索了在单个 GPU 上并发运行多个 LLM 流的性能,具体使用的是一块拥有 16GB 显存的 Radeon RX 6900 XT。研究发现,虽然总吞吐量随着流的数量增加而增加,但并非线性扩展,大部分收益在三个或四个流时观察到。与密集模型相比,混合专家(MoE)模型表现出显著更好的性能,在处理多个并发用户时提供更高的每用户速度和更好的整体吞吐量。
-
Anthropic 的 Claude Mythos 大幅缩短 AMD GPU 上线时间,挑战 Nvidia 的 CUDA
Anthropic 的 Claude Mythos 预览版模型已显著缩短了 AMD GPU 的上线所需时间,将此过程从最多 12 个月缩短至约三天,且只需极少的人工干预。这项进展涉及 AI 自主编写几乎所有必要的内核,挑战了 Nvidia 长期以来在 CUDA 方面的统治地位。Anthropic 的联合创始人 Tom Brown 强调,这项任务以前需要数十名工程师组成的团队来完成,而该公司采用的多芯片策略使其能够在包括 Nvidia、…
-
llama.cpp 提升 CUDA 性能并修复 AMD 设备错误
llama.cpp 项目发布了专注于 CUDA 性能提升和错误修复的更新。版本 b12487 在 DGX Spark 上为 MUL_MAT_ID 引入了少行矩阵乘法优化,提高了效率。版本 b12433 解决了 AMD 设备上与 MUL_MAT_ID 相关的特定中止问题,该问题发生在处理奇数列源和某些浮点格式时,确保了跨不同硬件配置的稳定性。
-
llama.cpp 更新 CUDA/HIP 支持,重构 warp 原语
llama.cpp 项目发布了 b12414 版本,其中包括对 CUDA 和 HIP(异构集成平台)的重构,以更好地利用 warp 原语。此次更新还将 ROCm 的版本要求提高到 6.3,并引入了可选的 top-k warp 功能。
-
tandem.cpp 更新提高了消费级 PC 上 MoE 模型的速度,增加了 AMD 支持
tandem.cpp 项目发布了一个更新,显著提高了大型 MoE(混合专家)模型在消费级硬件上的性能。该软件将常用的模型部分保留在 GPU 上,其余部分卸载到 CPU,与 llama.cpp 等标准实现相比,速度有了显著提升。此次更新还通过 ROCm 引入了对 AMD GPU 的支持,使 AMD 硬件的性能与现有解决方案相当。
-
vLLM 0.33.0 要求使用 CUDA 13,采用 Model Runner V2,并提升速度
vLLM 发布了 0.33.0 版本,引入了重大变更,需要用户注意以确保顺利升级。该版本强制要求使用 CUDA 13.0,不再支持旧版本,并需要更新驱动程序。一个主要变化是完全采用 Model Runner V2 作为默认执行引擎,集成了自动 KV 缓存大小调整和批次分片采样等功能。虽然该版本移除了对 Medusa、MLP 预测器和旧版 Ray 执行器的支持,但通过调度器优化,它也带来了显著的性能提升,在不改变底层内核的情况下,输出令…
-
Krea2 AI模型在AMD GPU上表现不佳
用户正在讨论Krea2(一个AI模型)在AMD硬件上运行时的性能问题,特别是通过ComfyUI。初步报告显示迭代速度缓慢,用户即使进行量化后,每次迭代仍需20-40秒。主要担忧在于此性能问题是源于AMD 9060XT GPU的计算能力不足,还是ROCm平台可能存在的兼容性问题。
-
用户详述在低功耗迷你PC上离线运行AI模型
一位用户记录了他们在一台低功耗迷你PC NiPoGi P1上离线运行AI模型的七天体验。他们使用了Gemma 4 E4B处理通用任务,使用Qwen2.5-Coder 7B进行编码,并通过家庭网络从Mac访问这些模型。该设置涉及在Proxmox VE的Debian容器中安装Ollama,传递集成AMD Radeon显卡,并配置Ollama以便在网络上访问。用户详细介绍了硬件、分步设置过程,并指出了导致意外缓慢的具体设置,最终得出了这种低…
-
vLLM 发布 0.33.0rc2 版本,修复 AMD 硬件的 ROCm 问题
vLLM 发布了 0.33.0rc2 版本,其中包含了一个针对 gfx950 硬件的 ROCm 兼容性 bug 修复。此特定修复解决了当 M 和 N 维度的乘积达到或超过 2^31 时,AITER 调优的 GEMM 操作被跳过的问题。此更改由 Micah Williamson 贡献,是从之前的提交中挑选出来的。
-
llama.cpp b11989 在 CDNA 硬件上启用稀疏注意力
llama.cpp 项目发布了 b11989 版本,该版本增强了 CDNA 硬件上的稀疏注意力功能。此次更新还解决了旧版 ROCm 上的同步问题,并优化了大型头注意力(head fattn mma)变体的处理。
-
Ollama 在 AMD GPU 上运行:常见故障导致静默切换到 CPU
本文详细介绍了在 AMD GPU 上运行 Ollama 时遇到的五个常见故障点,这些故障会导致系统显著减慢到基于 CPU 的处理,而不会发出明确的错误消息。作者在三周内测试 Windows、Linux 和 WSL2 上的 RX 7900 XTX 时遇到了这些问题。主要问题包括系统因后端检测不正确而默认使用 CPU、集成 GPU 劫持进程,以及更新在未通知的情况下重置 GPU 后端。作者通过检查 Ollama 的启动日志和 `ollam…
-
Muse Glimmer 30B 在 AMD Strix Halo 平台上进行基准测试
作者在 AMD 的 Strix Halo 平台(特别是 Ryzen AI Max+ 395 芯片)上对 Muse Glimmer 30B 模型进行了一周的性能基准测试。测试在 Linux 上使用 ROCm 进行,探索了包括上下文深度、服务形状、KV 缓存类型和量化级别在内的各种配置。主要发现表明,模型的最佳草稿长度因任务而异,与开放式散文生成相比,代理回合通过更长的草稿设置(n-max 15-16)可以获得更高的每秒令牌吞吐量。
-
Mastodon 帖子中展示的 AI 工具和应用程序
几篇 Mastodon 帖子展示了各种 AI 应用和开发工具。其中一篇讨论将 LLM 标记视为可观察性的事件检测问题。另一篇详细介绍了如何使用 HyperFrames 插件和 Claude Code 从 HTML 创建启动视频。另一篇帖子解释了如何使用 Claude Code 和一个名为 tv-home 的工具来精简 Android 或 Google TV。此外,Hacktoberfest 开源 AI 挑战赛的一项提交功能是 AI 驱…
-
llama.cpp 发布 b11925,扩展了操作系统和硬件支持
llama.cpp 项目已发布 b11925 版本,其中包含对各种操作系统和硬件架构的更新。值得注意的是,它改进了使用 ccache 依赖模式的 ROCm 发行版构建,并列出了对 Apple Silicon 和 Intel 上的 macOS、iOS、Linux、Android 和 Microsoft Windows 的支持。还详细介绍了 openEuler 的特定配置,包括 ACL Graph 支持,尽管其中一些被标记为禁用。
-
Lemonade Server 在 BOSGAME VTA-439 硬件上进行测试
本地AI服务器应用程序Lemonade Server已在BOSGAME VTA-439硬件上进行了测试。测试评估了服务器在各种处理单元上的性能,包括中央处理器、ROCm、Vulkan和XDNA 2 NPU。
-
用户寻求加速 AMD GPU 上的 MOSS-Image-SFT 模型生成
一位 Reddit 用户正在寻求有关如何加速其 AMD RX 6600 显卡上 MOSS-Image-SFT (INT8) 模型的图像生成速度的建议。他们遇到了非常缓慢的生成时间,一张 1MP 的图像需要近 11 分钟,并希望将其缩短到 10-60 秒。用户已经安装了 ROCm 和 ComfyUI,这表明他们已经进行了一些技术设置。
-
本地 LLM 部署:内存、速度和运行时考量
在本地运行大型语言模型时,用户经常会遇到硬件容量和性能指标方面的问题。区分内存容量(可以计算)和速度(需要特定的测量条件)至关重要。运行时的选择,例如 NVIDIA 的 CUDA 或 Apple Silicon 的 Metal,会显著影响可行性,应在购置硬件前予以考虑。记录测量性能的确切条件对于准确且可复现的结果至关重要。
-
llama.cpp 在最新版本中修复了 RocM 测试失败问题
llama.cpp 项目发布了 b11682 版本,其中包含对失败的 RocM 测试的修复。此更新解决了项目中 RocM 测试框架内的特定问题。
-
Meta 通过协同设计方法优化 AMD GPU 上的 AI 训练
Meta 开发了一种端到端的协同设计方法,以优化跨不同硬件(特别是 AMD GPU,以及现有的 NVIDIA GPU 和专有加速器)的 AI 训练性能。该策略包括硬件-模型协同设计、用于最佳内核选择的分析性能模型,以及用于微架构感知优化的代理工作流。与直接移植相比,这些方法在训练吞吐量方面取得了高达 1.5 倍的提升,标志着在将 AMD GPU 用于大规模 AI 训练的生产化方面迈出了重要一步。