AMD Instinct MI325X
PulseAugur coverage of AMD Instinct MI325X — every cluster mentioning AMD Instinct MI325X across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
vLLM Semantic Router 发布 d3-ultra,一个 27B 的多模态决策模型
vLLM Semantic Router 发布了 d3-ultra,一个拥有 270 亿参数的多模态决策模型。该模型旨在以概率而非生成文本的方式回答类型化问题,并且它会处理一次输入以回答所有查询。在内部基准测试中,它表现强劲,尤其是在文本任务方面,尽管在基于图像的边界框定位任务上略逊于其同类模型 d3-turbo。
-
d3-turbo 27B 模型绕过文本生成,实现概率性输出
vLLM Semantic Router团队发布了d3-turbo 27B,这是一款新颖的AI模型,不生成文本响应。相反,它为预定义的选项输出概率,使其适用于不需要自然语言生成的代理系统中的任务。该模型旨在一次处理输入并回答多个问题,与为每次查询重新处理输入的模型相比,具有显著的速度优势,尤其是在处理图像或视频数据时。
-
vLLM Semantic Router 发布 Decision 3.0 多模态决策模型
vLLM Semantic Router 发布了 Decision 3.0,这是一个新的五种开源多模态决策模型系列,参数量从 0.8B 到 27B 不等。这些模型可以处理文本、JSON 和图像来回答特定问题,返回概率而非生成的文本,这对于路由和护栏应用非常有用。这些模型基于 Qwen 基础模型进行微调,在内部评估中表现出竞争力,其中 9B 的 d3-flash 模型性能优于上一代的 27B 模型。延迟测量表明在 AMD Instinc…
-
vLLM Semantic Router 发布多模态决策模型 'd3'
vLLM Semantic Router 项目发布了 'd3',一个 27B 的多模态基础决策模型。该模型旨在根据文本、图像和视频回答问题,并返回每个答案的概率,而不生成文本。'd3' 相较于其前身 Decision 2.0 有显著改进,并展示了在单个请求中处理多张图像和视频的能力。它还提供快速的推理速度,在单个 AMD Instinct MI325X 上处理文本请求的中位数为 55 毫秒。
-
Instella-MoE:新的开源 MoE 语言模型发布
一份新的技术报告介绍 Instella-MoE,一个拥有 160 亿总参数的开源专家混合(MoE)语言模型。该模型在 AMD Instinct GPU 上训练,并采用了门控多头潜在注意力(Gated Multi-head Latent Attention)和 FarSkip-Collective 连接等创新技术,以实现高效的训练和推理。Instella-MoE 在预训练基准测试中表现强劲,优于其他开源模型,并在指令遵循、推理、数学、编…
-
AMD 发布开源 Instella-MoE 语言模型
AMD 发布了 Instella-MoE-16B-A3B-Think,这是一款新的开源专家混合(Mixture-of-Experts)语言模型。该模型拥有 160 亿总参数,每个 token 有 28 亿激活参数,并在 AMD Instinct MI300X 和 MI325X GPU 上从头开始训练。发布内容包括所有训练阶段的检查点,并提供了与 Transformers 和 vLLM 等流行库以及 SGLang 和 Docker 等工…
-
Character.ai、DigitalOcean、AMD 将 AI 推理性能提升 2 倍
Character.ai 与 DigitalOcean 和 AMD 合作,在其 AI 娱乐平台上实现了生产推理性能的两倍提升。通过对 AMD Instinct MI300X 和 MI325X GPU 平台进行深度技术优化,利用专家混合模型并行化和高效 FP8 执行等先进技术,实现了这一显著改进。此次合作促成了与 DigitalOcean 为期多年、年达八位数的 GPU 基础设施协议,使 Character.ai 能够以可预测且具成本效…