AMD 与 GPU_MODE 合作，启动了一个耗资 110 万美元的内核黑客马拉松，显著提升了其 MI355X 图形卡的性能。Readonflow Team 的优化专注于 MoE 内核和其他核心组件，带来了高达 4 倍的性能提升，并已合并到 AMD 的 AITER 内核库和 ATOM 推理引擎中。该计划旨在使 AMD 的 vLLM 性能接近 CUDA vLLM 的水平，并增强社区对 ROCm 堆栈的体验。 AI
影响 通过提高推理性能和促进其 ROCm 堆栈上的社区开发，增强了 AMD 在人工智能硬件领域的竞争力。
排序理由 社区驱动的性能优化和 AMD 硬件内核的合并。
AI 生成摘要 · Google Gemini · 来自 6 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
@GPU_MODE Shoutout to @marksaroufim & @roaner for helping organize the community GPUMODE hackathon such that the community can have access to the resources to learn how to optimize AMD perf. 6\6🧵
@GPU_MODE @AIatAMD @marksaroufim @AnushElangovan Huge shoutout to @roaner and his team for leading the organization of this competition, which got many community members involved!!
@GPU_MODE @AIatAMD Great work by @marksaroufim and @AnushElangovan for brainstorming and launching this hackathon, which helps the community gain more experience in optimizing inference performance on the ROCm stack. 4/4🧵
RT @HyperTechInvest: AMD hat ein hochmodernes, vollständig offenes Modell veröffentlicht, das ausschließlich auf MI300X- und MI325X-GPUs mit ROCm Instella-MoE trainiert wurde. Es handelt sich um ein Mixture-of-Experts-Modell mit 16 Milliarden Parametern, das pro Token nur 2,8 Mil…
RT @ns123abc: 🚨NVIDIA-CEO hat das Weiße Haus durch das Mythos-Interviewer von Anthropic „redpilled“: „Wir wissen, dass Mythos in eine Bank einbrechen kann… sind wir bereit, es jedem zur Verfügung zu stellen?“ Jensen: „Es sollte absolut jedem zur Verfügung stehen.“ Interviewer: AL…
RT @Italianclownz: Ich arbeite gerade an ROCmFPX und hoffe, dass dies allen hilft, wenn ich die Updates bereitstelle. Habe das im Terminal am Flughafen fertiggestellt. Was seltsam ist, ist, dass diese ROCmFP2-Quantisierung etwas Magisches vollbringt. Bin gespannt auf Feedback, so…