DeepSeek 70B

AI推理卡将数据库查询延迟降低高达32%

一项新研究强调了国内AI推理加速卡（特别是明心FX100）如何显著提高实时数据库查询性能。通过优化存储访问路径和缩短模型加载时间，这些卡可以将首个token延迟降低高达32%，模型加载时间缩短高达9倍。这些改进在AMD MI308X和华为Ascend 910B平台上均得到验证，表明AI驱动的实时数据库中的瓶颈正从计算转向存储访问，尤其是在处理大型模型时。