PulseAugur
中
实时 07:48:57
实体 AMD Instinct MI308X

AMD Instinct MI308X

PulseAugur coverage of AMD Instinct MI308X — every cluster mentioning AMD Instinct MI308X across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_206772 ·

    明玕科技发布超越基准测试的GPU平台验收框架

    明玕科技已开发出一个全面的GPU计算平台验收框架，该框架超越了标准的基准测试。该框架弥补了基准测试性能与实际集群推理之间的差距，强调了验证显存容量、互连带宽和存储系统的必要性。该过程包括基线性能测试、实际工作负载下的加速效果验证以及严格的72小时稳定性压力测试，以确保可靠性。
  2. TOOL · CL_187559 ·

    KV Cache预取大幅降低LLM推理延迟

    一种新的KV Cache数据预取策略已被开发出来，显著降低了大模型推理期间的存储延迟。该方法在明心FX100上使用480B模型进行了测试，推理吞吐量提高了40%，首个token的生成时间缩短了32%。该策略涉及在计算单元需要KV Cache块之前，将其从存储加载到更快的内存层级，这是随着上下文窗口扩展并超出GPU高带宽内存（HBM）容量而进行的关键优化。与KV Cache数据未命中时重新计算相比，这种方法提供了8.6倍到20倍的显著加速。