commodity GPUs

小米在商用GPU上实现1T参数模型每秒1000 token

小米的MiMo团队发布了MiMo-V2.5-Pro-UltraSpeed，这是其1万亿参数模型的全新推理模式，在商用GPU上实现了超过每秒1000 token的吞吐量。这种显著的速度提升归功于FP4量化、DFlash推测解码和TileRT服务系统的结合，无需定制硬件。该公司声称，这一进步将通过实现更快的并行推理、提高编码代理效率和支持实时决策过程来彻底改变AI应用。