商汤的“大汪识事”开发了先进的AI基础设施,以应对多智能体系统驱动的Token需求指数级增长。该公司正通过PD(Prefill/Decode)分离和AF(Attention/FFN)分离等创新架构方法,专注于优化Token生产效率。这些技术旨在提高大规模、异构计算集群的成本效益和稳定性,使商汤能够管理每日高达6万亿Token的服务,并预计到2026年底将增长25倍。 AI
影响 优化AI基础设施的效率和成本,从而为先进的AI应用实现更高质量的Token生产。
排序理由 公司公告,详细介绍了新的AI基础设施架构和性能指标。[lever_c_demoted from significant: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →