PulseAugur
中
实时 01:51:59
实体 AMD MI325X

AMD MI325X

PulseAugur coverage of AMD MI325X — every cluster mentioning AMD MI325X across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_84100 ·

    Anyscale 通过在 AMD 上分离预填充-解码来降低 LLM 服务成本

    Anyscale 通过分离推理的预填充和解码阶段，在 LLM 服务方面实现了显著的成本节省。该方法将提示处理与 token 生成分开，减少了干扰并提高了吞吐量。虽然这种方法可以降低高达 67% 的成本并提高每秒查询次数 2.3 倍，但它会增加操作复杂性，并可能略微增加首次 token 的时间。