CSDI Summit

商汤优化AI基础设施以实现海量Token输出

商汤的“大汪识事”开发了先进的AI基础设施，以应对多智能体系统驱动的Token需求指数级增长。该公司正通过PD（Prefill/Decode）分离和AF（Attention/FFN）分离等创新架构方法，专注于优化Token生产效率。这些技术旨在提高大规模、异构计算集群的成本效益和稳定性，使商汤能够管理每日高达6万亿Token的服务，并预计到2026年底将增长25倍。