MI300X
PulseAugur coverage of MI300X — every cluster mentioning MI300X across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Inferra提议建立GPU计算期货交易所以解决碎片化市场问题
由于访问碎片化、H100等高需求芯片分配不均以及供应商之间缺乏价格透明度，为AI开发采购GPU仍然充满挑战。现有的解决方案，如预留实例、竞价实例和Vast.ai等市场，未能充分解决这些问题。一个名为Inferra的新项目正在提议建立一个GPU计算的衍生品交易所，提供特定芯片的永续期货，以实现价格发现和对冲未来需求。
-
Machine0.io 推出支持 CLI 控制的持久化虚拟机
Machine0.io 推出了一个新的服务，为开发者和代理提供持久化虚拟机 (VM)，可以通过命令行界面 (CLI) 访问。这些虚拟机运行 NixOS 或 Ubuntu，并预装了工具，提供专用的资源、静态 IP 和按分钟计费。该服务强调可复现的构建、用于节省成本的状态冻结以及跨多个区域的全球可用性。
-
使用 ROCm 和 QLoRA 在 AMD MI300X 上微调 LLM
本文详细介绍了使用 AMD 的 ROCm 平台，特别是在 MI300X 硬件上微调大型语言模型的实用工作流。文章重点介绍了如何通过利用 ROCm、QLoRA 技术和检查点训练来克服 NVIDIA CUDA 的主导地位。该过程旨在利用 MI300X 上可用的 192GB 大量 VRAM 来实现高效的模型定制。
-
TritonMoE 内核实现跨平台 MoE 推理
研究人员开发了 TritonMoE，这是一种用于专家混合（MoE）模型的新推理内核，完全使用 OpenAI 的 Triton 语言编写。该内核实现了跨平台兼容性，无需供应商特定的代码即可在 NVIDIA 和 AMD 硬件上运行。它展示了显著的性能提升，在较短的 token 序列吞吐量方面优于 Megablocks 等现有方法，尽管在非常长的上下文或大量专家方面存在局限性。
-
AMD的MI300X因软件问题在AI训练方面表现不佳
最近的基准测试分析显示，尽管AMD的MI300X在规格和总体拥有成本方面具有理论优势，但在AI训练工作负载方面，它与NVIDIA的H100和H200相比缺乏竞争力。主要原因是AMD的软件栈不成熟且存在错误，这阻碍了其开箱即用的可用性和性能。虽然AMD的工程师已展现出修复问题的能力，但该公司整体的软件质量保证文化和开发方法需要显著改进，才能挑战NVIDIA成熟的CUDA生态系统。