实体
AMD Instinct MI355X
AMD Instinct MI355X
PulseAugur coverage of AMD Instinct MI355X — every cluster mentioning AMD Instinct MI355X across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
开发者在 Mac 上测试 MTP 加速效果，结果喜忧参半
一位开发者在他们的 Mac Studio 上测试了多令牌预测 (MTP) 的性能，发现它能显著加快某些模型的代码生成速度，但也会拖慢其他模型的速度。引发此次测试的 EAGLE-4 推测解码方法与 Mac 硬件不兼容。开发者的发现表明，MTP 可将 27B 参数模型的生成速度提升高达 92%，但也会导致 35B MoE 模型的性能下降 19%，并可能改变输出文本的质量。
-
vLLM 为 AMD GPU 添加推测解码，提升推理速度
vLLM 已为 AMD GPU 实现了推测解码，这是一种通过让一个较小的草稿模型提出标记，然后由一个较大的目标模型进行验证，从而实现更快推理的技术。此功能针对使用 ROCm 平台的 AMD Instinct MI300X 和 MI355X GPU 进行了优化，可带来显著的速度提升，基准测试显示某些模型的吞吐量最高可提高 30%。与 NVIDIA GPU 相比，该实现的目的是提供更具成本效益的扩展解决方案，并通过消除对自定义 CUDA …