Qwen 3:4B-instruct

DDR5 带宽成为 AMD APU 双 LLM 推理的瓶颈

一位开发者的实验表明，AMD APU 上的 DDR5 带宽严重限制了同时运行多个大型语言模型（LLM）的性能。尽管像 Qwen 3.6:35B 这样拥有 350 亿参数的模型，在每个 token 上似乎只使用了其参数的一小部分，但其实际推理速度受到共享内存带宽的限制，使其性能与较小模型相当。这一发现导致在尝试在同一硬件上并发运行两个模型时，由于性能下降而放弃了多模型代理架构。