AMD MI308X
PulseAugur coverage of AMD MI308X — every cluster mentioning AMD MI308X across labs, papers, and developer communities, ranked by signal.
-
明玢FX100存储加速AI推理，助力国产替代
明玢的FX100存储解决方案为AI推理提供了显著的性能提升，特别是在信创环境下的国产替代努力中。通过专注于存储协议和数据路径，而非直接取代GPU，明玢的技术在DeepSeek 70B和32B等大模型上，于AMD MI308X和Ascend 910B等平台上进行测试时，实现了高达40%的吞吐量提升和32%的首个token时间（TTFT）缩减。该方法利用了NVMe-oF和RoCEv2等成熟的开放标准，降低了技术风险，并在AI推理存储方面提…
-
计算、内存和存储领域探索LLM首次响应时间缩减策略
减少大型语言模型（LLM）的首次响应时间（TTFT）对于用户体验和性能至关重要。这涉及到优化四个关键领域：计算、GPU内存、存储和整体架构。FlashAttention和PagedAttention等技术解决了计算和内存管理问题，但它们的有效性受到硬件带宽的限制。扩展GPU内存或将KV Cache分层到更快的存储（如NVMe-oF阵列）可以显著减少长上下文场景下的延迟，明信科技的解决方案就证明了这一点，该方案显示480B模型的TTFT…
-
明玕 FX100 通过 KV Cache 复用提升 LLM 推理性能 · 追踪 2 个来源
明玕 FX100 在大型语言模型的多轮对话场景中展现了显著的性能提升。通过实施 KV Cache 复用策略（即将先前对话轮次的键值张量缓存起来，避免重新计算），该系统实现了 29-40% 的吞吐量提升和 26-32% 的首个 token 时间缩减。这些提升在冷启动或冷恢复情况下尤为显著，与重新计算整个历史记录的基线相比，系统可以将推理速度提高高达 20 倍。
-
AI推理卡将数据库查询延迟降低高达32%
一项新研究强调了国内AI推理加速卡（特别是明心FX100）如何显著提高实时数据库查询性能。通过优化存储访问路径和缩短模型加载时间，这些卡可以将首个token延迟降低高达32%，模型加载时间缩短高达9倍。这些改进在AMD MI308X和华为Ascend 910B平台上均得到验证，表明AI驱动的实时数据库中的瓶颈正从计算转向存储访问，尤其是在处理大型模型时。
-
KV 缓存分层可提升 LLM 推理速度并降低成本
一种管理大型语言模型推理中 KV 缓存的新方法建议将其视为暖存储层内的高频访问子集，而不是传统的冷热层。这种策略，对于 Qwen3-Coder-480B-FP8 等长上下文模型尤其重要，涉及使用专用的加速层，例如 Mingxin FX100 NVMe-oF 阵列。实测结果表明，这种分层可以将吞吐量提高高达 40%，并将首次令牌延迟时间缩短 30% 以上，从而解决了 LLM 推理中的一个关键瓶颈。
-
明心科技通过优化模型切换将GPU利用率提升16%
明心科技通过解决模型切换和冷启动延迟问题，显著提高了GPU计算利用率。通过分层KV Cache加速、并行读优化和端到端负载加速这三个优化步骤，他们将有效计算利用率从46.7%提高到62.8%。这些优化在AMD MI308X和华为Atlas 910B平台上进行了测试，缩短了首次令牌生成时间和模型加载时间，从而释放了现有计算基础设施的更多潜力。