35B parameters

80GB H100 GPU 难以支撑大型模型；MoE 提供解决方案

一位开发者发现，成本约 35,000 美元的 80GB H100 GPU 在处理大型模型进行对话式 AI 时因延迟问题而显得力不从心。尽管模型可能装入内存，但每个 token 的计算成本显著影响响应速度，导致对话感觉不自然。该开发者发现，像 Qwen3.6-35B-A3B 这样的混合专家（MoE）模型，通过每个 token 只使用其总参数的一小部分（35B 中的 3B）来解决这个问题，从而在对话应用中平衡了高准确性与可管理的计算需求。