ATOMesh

AMD 发布 ATOM + ATOMesh 以支持 ROCm LLM 服务和分离

AMD 发布了 ATOM 和 ATOMesh，这是一个专为其 Instinct GPU 和 ROCm 软件设计的新 LLM 服务堆栈。该堆栈引入了一种称为预填充/解码分离的技术，该技术将计算密集型的预填充阶段与内存带宽密集型的解码阶段分离到不同的 GPU 池上。此优化旨在通过允许每个阶段更有效地利用硬件资源来提高推理效率，这与在单个 GPU 池上运行两者的传统方法不同。