PulseAugur
中
实时 21:16:52
实体 AMD Instinct MI300x

AMD Instinct MI300x

PulseAugur coverage of AMD Instinct MI300x — every cluster mentioning AMD Instinct MI300x across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
4
90 天内 12
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 4
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 15 条
  1. COMMENTARY · CL_369480 ·

    人工智能的能源需求推动绿色数据中心创新 · 跟踪到1个来源

    在人工智能和高性能计算的巨大能源需求推动下,可持续数据中心的发展势头正日益增强。Google、Microsoft和Nvidia等公司正在探索创新的冷却和电源效率解决方案。这些努力旨在减少数据中心对环境的影响,而数据中心对于驱动先进的人工智能模型和技术至关重要。

  2. TOOL · CL_288361 ·

    Gemma 4 E2B 在 AMD MI300X 上不同权重格式的性能测试

    本文详细介绍了在 AMD Instinct MI300X GPU 上运行 Gemma 4 E2B 语言模型时,不同权重格式的性能比较。作者提供了使用 vLLM 部署十种不同权重格式的详细指南,并对不同请求数量和提示长度下的每种配置进行了计时。结果表明,FP8 是最快的格式,性能与 bfloat16 非常接近,而 INT8 和 4 位格式的输出速度较慢但可能更精确。文章提出了速度与保真度之间的权衡选择,并指出 MI300X 充足的内存容…

  3. RESEARCH · CL_284377 ·

    新方法解决MoE训练瓶颈,提高效率和可扩展性

    两篇新的研究论文提出了在预训练期间优化专家混合(MoE)模型的方法,解决了阻碍可扩展性的显著通信开销。第一篇论文《MoE预训练中的专家耦合》引入了相关的专家放置和token打乱,以减少全对全通信,实现了高达1.41倍的步进时间缩减。第二篇论文《面向分布式MoE训练的内存高效专家路由》提出了RelayMoE,一种基于环的执行模型,可最大限度地减少内存使用并使通信与计算重叠,从而实现了高达2.02倍的吞吐量提升,并支持更长的序列长度。

  4. RESEARCH · CL_295259 ·

    新的Spectral-MoE方法优化了LLM跨层的专家利用率

    研究人员开发了Spectral-MoE,一种将密集大型语言模型转换为混合专家(MoE)架构的新颖方法。与之前在所有层使用统一专家利用率的方法不同,Spectral-MoE允许异构专家分配,这意味着不同层可以使用不同数量的专家。这种方法在Llama-2 7B和Llama-3 8B等模型上得到了验证,与统一利用率相比,它显著降低了困惑度并提高了任务准确性。另一项相关技术侧重于通过利用相关性专家分配来减少MoE预训练中的通信开销,这可以大大…

  5. TOOL · CL_258863 ·

    AMD Instinct MI300X GPU 细节,附带自定义 Python 管理工具

    本文详细介绍了在 AMD Developer Cloud 上盘点和测量 AMD Instinct MI300X GPU 的过程。作者开发了一套名为“MCP”的 Python 工具集,用于管理和交互 GPU 实例。这些工具提供了列出实例、检查状态、启动、停止和重启实例以及运行命令和扫描硬件等功能。文章强调了工具报告的硬件规格与 AMD 公布的数据之间存在的差异,并强调了解析原始输出而非信任状态指示器的重要性。

  6. TOOL · CL_239960 ·

    vLLM 为 AMD GPU 添加推测解码,提升推理速度

    vLLM 已为 AMD GPU 实现了推测解码,这是一种通过让一个较小的草稿模型提出标记,然后由一个较大的目标模型进行验证,从而实现更快推理的技术。此功能针对使用 ROCm 平台的 AMD Instinct MI300X 和 MI355X GPU 进行了优化,可带来显著的速度提升,基准测试显示某些模型的吞吐量最高可提高 30%。与 NVIDIA GPU 相比,该实现的目的是提供更具成本效益的扩展解决方案,并通过消除对自定义 CUDA …

  7. TOOL · CL_231402 ·

    Instella-MoE:新的开源 MoE 语言模型发布

    一份新的技术报告介绍 Instella-MoE,一个拥有 160 亿总参数的开源专家混合(MoE)语言模型。该模型在 AMD Instinct GPU 上训练,并采用了门控多头潜在注意力(Gated Multi-head Latent Attention)和 FarSkip-Collective 连接等创新技术,以实现高效的训练和推理。Instella-MoE 在预训练基准测试中表现强劲,优于其他开源模型,并在指令遵循、推理、数学、编…

  8. TOOL · CL_220491 ·

    DeepSeek R1 推理大模型通过 SGLang 在 AMD GPU 上部署

    一份技术指南详细介绍了如何使用 SGLang 在 AMD Instinct MI300X GPU 服务器上部署 DeepSeek R1 推理语言模型。该过程包括使用 Docker 设置环境、下载模型以及运行推理服务器。该指南提供了安装、构建 ROCm 容器、使用张量并行启动服务器以及通过 HTTP 请求测试推理的具体命令。它强调了 DeepSeek R1 在数学、编码和逻辑推理方面的能力,并着重介绍了其经过优化的方法,以最大限度地减少…

  9. RESEARCH · CL_183930 ·

    马斯克的 SpaceX、xAI 将独家使用英伟达 GPU,发射太空优化 AI 硬件

    埃隆·马斯克宣布 SpaceX 和 xAI 将独家使用英伟达 GPU,并称 Vera Rubin NVL72 架构是目前最好的。这一决定将使 AMD、Cerebras 等竞争对手在商用 AI 加速器市场上处于不利地位。SpaceX 计划从明年开始将 NVL72 系统的优化版本(称为 Starmind)部署到太空,此举极大地扩展了英伟达自身的太空 AI 硬件计划。

  10. SIGNIFICANT · CL_169317 ·

    AMD 发布开源 Instella-MoE 语言模型

    AMD 发布了 Instella-MoE-16B-A3B-Think,这是一款新的开源专家混合(Mixture-of-Experts)语言模型。该模型拥有 160 亿总参数,每个 token 有 28 亿激活参数,并在 AMD Instinct MI300X 和 MI325X GPU 上从头开始训练。发布内容包括所有训练阶段的检查点,并提供了与 Transformers 和 vLLM 等流行库以及 SGLang 和 Docker 等工…

  11. SIGNIFICANT · CL_105330 ·

    Zyphra 的 ZAYA1-8B 模型在 AMD 硬件上展现出强大的推理能力

    Zyphra 发布了 ZAYA1-8B,这是一个获得 Apache 2.0 许可的混合专家(Mixture-of-Experts)推理模型,拥有 84 亿总参数和约 7.6 亿激活参数。值得注意的是,该模型完全在 AMD Instinct MI300X GPU 上训练,展示了开源 AI 生态系统的硬件多样性。虽然 ZAYA1-8B 在同等规模的模型中,在数学和推理基准测试上表现强劲,接近前沿模型,但其最佳性能依赖于 Zyphra 对 …

  12. SIGNIFICANT · CL_43334 ·

    Zyphra 发布 ZAYA1-8B MoE 模型,活跃参数不足 10 亿

    Zyphra 发布了 ZAYA1-8B,一个拥有 84 亿参数的混合专家(Mixture-of-Experts)模型,每个 token 仅激活约 7.6 亿参数。该架构使其在数学和编码基准测试中能够达到与更大模型相媲美的性能,包括 Claude 4.5 Sonnet。该模型采用了压缩卷积注意力(Compressed Convolutional Attention)和基于 MLP 的专家选择路由器等架构改进,并在大量 AMD Insti…

  13. TOOL · CL_22630 ·

    临床 AI 在 AMD 硬件上微调,绕过 CUDA 依赖

    一个项目已成功在 AMD 硬件和 ROCm 上微调了临床 AI 模型 MedQA,证明了在没有 NVIDIA 的 CUDA 的情况下也可以进行高级 AI 开发。微调过程使用了 Qwen3-1.7B 模型和 MedMCQA 数据集,仅在 AMD Instinct MI300X 上花费了五分钟就取得了成果。这项工作突显了 Hugging Face 生态系统与 ROCm 的兼容性,可能拓宽 AI 开发工具的可及性。

  14. TOOL · CL_20870 ·

    Zyphra的ZAYA1-8B MoE模型在AMD硬件上训练,表现优于更大模型

    Zyphra AI发布了ZAYA1-8B,一个专家混合(MoE)语言模型,拥有7.6亿个活跃参数和84亿个总参数。该模型在AMD硬件上训练,在数学和编码基准测试中表现出与更大模型相媲美的性能,采用了压缩卷积注意力(Compressed Convolutional Attention)和基于MLP的路由器等创新技术。ZAYA1-8B在Apache 2.0许可下可用,并提供无服务器终端,为设备端应用提供高效部署和低延迟推理。

  15. RESEARCH · CL_47635 ·

    Character.ai、DigitalOcean、AMD 将 AI 推理性能提升 2 倍

    Character.ai 与 DigitalOcean 和 AMD 合作,在其 AI 娱乐平台上实现了生产推理性能的两倍提升。通过对 AMD Instinct MI300X 和 MI325X GPU 平台进行深度技术优化,利用专家混合模型并行化和高效 FP8 执行等先进技术,实现了这一显著改进。此次合作促成了与 DigitalOcean 为期多年、年达八位数的 GPU 基础设施协议,使 Character.ai 能够以可预测且具成本效…