Zyphra Cloud

Zyphra的ZAYA1-8B MoE模型在AMD硬件上训练，表现优于更大模型

Zyphra AI发布了ZAYA1-8B，一个专家混合（MoE）语言模型，拥有7.6亿个活跃参数和84亿个总参数。该模型在AMD硬件上训练，在数学和编码基准测试中表现出与更大模型相媲美的性能，采用了压缩卷积注意力（Compressed Convolutional Attention）和基于MLP的路由器等创新技术。ZAYA1-8B在Apache 2.0许可下可用，并提供无服务器终端，为设备端应用提供高效部署和低延迟推理。