Cessna 310P

GLM-5.3-Flash 模型针对华为 Ascend 310P 硬件进行了优化

一位用户已成功将 GLM-5.3-Flash 模型（一个拥有 3200 亿参数的专家混合模型）优化，使其能在华为 Ascend 310P 硬件上运行。初始性能较慢，但通过各种优化，用户实现了大约每秒 8-9 个 token 的吞吐量。该设置支持高达 311,040 个 token 的上下文窗口，并能处理多达四个并发请求，后续工作将致力于在 CUDA 和 Ascend 卡之间卸载模型权重。