AMD Instinct MI300x
PulseAugur coverage of AMD Instinct MI300x — every cluster mentioning AMD Instinct MI300x across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
AMD Instinct MI300X GPU 细节，附带自定义 Python 管理工具
本文详细介绍了在 AMD Developer Cloud 上盘点和测量 AMD Instinct MI300X GPU 的过程。作者开发了一套名为“MCP”的 Python 工具集，用于管理和交互 GPU 实例。这些工具提供了列出实例、检查状态、启动、停止和重启实例以及运行命令和扫描硬件等功能。文章强调了工具报告的硬件规格与 AMD 公布的数据之间存在的差异，并强调了解析原始输出而非信任状态指示器的重要性。
-
vLLM 为 AMD GPU 添加推测解码，提升推理速度
vLLM 已为 AMD GPU 实现了推测解码，这是一种通过让一个较小的草稿模型提出标记，然后由一个较大的目标模型进行验证，从而实现更快推理的技术。此功能针对使用 ROCm 平台的 AMD Instinct MI300X 和 MI355X GPU 进行了优化，可带来显著的速度提升，基准测试显示某些模型的吞吐量最高可提高 30%。与 NVIDIA GPU 相比，该实现的目的是提供更具成本效益的扩展解决方案，并通过消除对自定义 CUDA …
-
Instella-MoE：新的开源 MoE 语言模型发布
一份新的技术报告介绍 Instella-MoE，一个拥有 160 亿总参数的开源专家混合（MoE）语言模型。该模型在 AMD Instinct GPU 上训练，并采用了门控多头潜在注意力（Gated Multi-head Latent Attention）和 FarSkip-Collective 连接等创新技术，以实现高效的训练和推理。Instella-MoE 在预训练基准测试中表现强劲，优于其他开源模型，并在指令遵循、推理、数学、编…
-
DeepSeek R1 推理大模型通过 SGLang 在 AMD GPU 上部署
一份技术指南详细介绍了如何使用 SGLang 在 AMD Instinct MI300X GPU 服务器上部署 DeepSeek R1 推理语言模型。该过程包括使用 Docker 设置环境、下载模型以及运行推理服务器。该指南提供了安装、构建 ROCm 容器、使用张量并行启动服务器以及通过 HTTP 请求测试推理的具体命令。它强调了 DeepSeek R1 在数学、编码和逻辑推理方面的能力，并着重介绍了其经过优化的方法，以最大限度地减少…
-
马斯克的 SpaceX、xAI 将独家使用英伟达 GPU，发射太空优化 AI 硬件
埃隆·马斯克宣布 SpaceX 和 xAI 将独家使用英伟达 GPU，并称 Vera Rubin NVL72 架构是目前最好的。这一决定将使 AMD、Cerebras 等竞争对手在商用 AI 加速器市场上处于不利地位。SpaceX 计划从明年开始将 NVL72 系统的优化版本（称为 Starmind）部署到太空，此举极大地扩展了英伟达自身的太空 AI 硬件计划。
-
AMD 发布开源 Instella-MoE 语言模型
AMD 发布了 Instella-MoE-16B-A3B-Think，这是一款新的开源专家混合（Mixture-of-Experts）语言模型。该模型拥有 160 亿总参数，每个 token 有 28 亿激活参数，并在 AMD Instinct MI300X 和 MI325X GPU 上从头开始训练。发布内容包括所有训练阶段的检查点，并提供了与 Transformers 和 vLLM 等流行库以及 SGLang 和 Docker 等工…
-
Zyphra 的 ZAYA1-8B 模型在 AMD 硬件上展现出强大的推理能力
Zyphra 发布了 ZAYA1-8B，这是一个获得 Apache 2.0 许可的混合专家（Mixture-of-Experts）推理模型，拥有 84 亿总参数和约 7.6 亿激活参数。值得注意的是，该模型完全在 AMD Instinct MI300X GPU 上训练，展示了开源 AI 生态系统的硬件多样性。虽然 ZAYA1-8B 在同等规模的模型中，在数学和推理基准测试上表现强劲，接近前沿模型，但其最佳性能依赖于 Zyphra 对 …
-
Zyphra 发布 ZAYA1-8B MoE 模型，活跃参数不足 10 亿
Zyphra 发布了 ZAYA1-8B，一个拥有 84 亿参数的混合专家（Mixture-of-Experts）模型，每个 token 仅激活约 7.6 亿参数。该架构使其在数学和编码基准测试中能够达到与更大模型相媲美的性能，包括 Claude 4.5 Sonnet。该模型采用了压缩卷积注意力（Compressed Convolutional Attention）和基于 MLP 的专家选择路由器等架构改进，并在大量 AMD Insti…
-
临床 AI 在 AMD 硬件上微调，绕过 CUDA 依赖
一个项目已成功在 AMD 硬件和 ROCm 上微调了临床 AI 模型 MedQA，证明了在没有 NVIDIA 的 CUDA 的情况下也可以进行高级 AI 开发。微调过程使用了 Qwen3-1.7B 模型和 MedMCQA 数据集，仅在 AMD Instinct MI300X 上花费了五分钟就取得了成果。这项工作突显了 Hugging Face 生态系统与 ROCm 的兼容性，可能拓宽 AI 开发工具的可及性。
-
Zyphra的ZAYA1-8B MoE模型在AMD硬件上训练，表现优于更大模型
Zyphra AI发布了ZAYA1-8B，一个专家混合（MoE）语言模型，拥有7.6亿个活跃参数和84亿个总参数。该模型在AMD硬件上训练，在数学和编码基准测试中表现出与更大模型相媲美的性能，采用了压缩卷积注意力（Compressed Convolutional Attention）和基于MLP的路由器等创新技术。ZAYA1-8B在Apache 2.0许可下可用，并提供无服务器终端，为设备端应用提供高效部署和低延迟推理。
-
Character.ai、DigitalOcean、AMD 将 AI 推理性能提升 2 倍
Character.ai 与 DigitalOcean 和 AMD 合作，在其 AI 娱乐平台上实现了生产推理性能的两倍提升。通过对 AMD Instinct MI300X 和 MI325X GPU 平台进行深度技术优化，利用专家混合模型并行化和高效 FP8 执行等先进技术，实现了这一显著改进。此次合作促成了与 DigitalOcean 为期多年、年达八位数的 GPU 基础设施协议，使 Character.ai 能够以可预测且具成本效…